什么是深度分页?
使用es的from和size语法来进行范围取值。 比如size=10&from=5000 ,这就是深度分页的用法。 为了拿到想要的 10个数据,es首先会扫描shard分片进行匹配并排序数据,之后算出5000个。这样就能拿到你想要那10个数据。 重复操作会很蛋疼,ElasticSearch的scroll便有了用武之地!
elasticsearch的scroll是什么?
可以简单理解为mysql的cursor游标,比如你一次请求的数据会很大,可以使用scroll这样的流式接口,scroll会把你的所需要的结果标记起来。但是这scroll的查询还是会对数据进行排序的,这样会影响性能。 若你是单纯的想要数据,那么可以使用scan,因为scan会告诉 elasticsearch 不去排序。scan模式会扫描shard分片中的数据,单纯的扫除匹配,而不会像scroll进行排序处理。
对于没有排序的深度分页需求, scan scroll组合使用是最好的选择。scan scroll的流式接口用法很是简单,在url里扩充字段 search_type 是scan类型,scroll是3分钟,当次查询的结果会在elasticsearch标记3分钟。
这里的size 1000个会在每个shard起到作用。 并不是把所有结果限制为1000个 ! 如果你的分片数目有10个,那么你最多可以拿到 1000 * 10的数据。
https://blog.csdn.net/gong_yangyang/article/details/77337574