您好,登录后才能下订单哦!
这篇文章主要介绍“Elasticsearch分页查询的问题有哪些”,在日常操作中,相信很多人在Elasticsearch分页查询的问题有哪些问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Elasticsearch分页查询的问题有哪些”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
Elasticsearch 分页查询有个特点,如果你写一个这样的查询语句:
{ "from" : 10, "size" : 10, "query" : {} }
Elasticsearch 会查询出前 20 条数据,然后截断前 10 条,只返回 10-20 的数据。
这样做带来的副作用很明显,数据量大的话,越到后面查询越慢。
所以针对大数据量的查询,要使用 scroll。这种方式相当于建立了一个游标,标记当前的读取位置,保证下一次查询快速取出数据。
但这两种方式都还有一个小坑需要注意,下面来详细说明。
可能会出现的问题:
Result window is too large, from + size must be less than or equal to: [10000] but was [10010]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level setting.
这个报错信息其实已经说的很明确了,通过这种分页方式查询的最大值是 10000,超过 10000 就会报错。
解决办法也很简单,一是针对大数据量查询采用 scroll 方式;二是增加 index.max_result_window
值的大小,使其支持查询范围。
推荐使用 scroll 方式。
可能会出现的问题:
Trying to create too many scroll contexts. Must be less than or equal to: [500]. This limit can be set by changing the [search.max_open_scroll_context] setting.
产生这个错误的原因是:
当有大量需要使用 scroll 的请求向 Elasticsearch 请求数据时,系统默认最大 scroll_id 数量是 500,当达到最大值时,导致部分请求没有 scroll_id 可用,产生报错。
特别是在高并发场景下,这种问题可能会更加常见。
解决办法可以增加 search.max_open_scroll_context
值的大小。
但这么解决并不好,更好的办法是查询完之后,及时清理 scroll_id。
# python from elasticsearch import Elasticsearch client = Elasticsearch(host, http_auth=(username, password), timeout=3600) es_data = client.search(es_index, query_body, scroll='1m', size=100) scroll_id = es_data['_scroll_id'] client.clear_scroll(scroll_id=scroll_id) # 清理方法
其实,即使我们不手动清理,等过期之后,游标也会自己释放,这跟使用时的参数有关。
比如 scroll='1m'
代表 1min 后会释放。
但就像我们使用其他资源一样,使用完之后及时释放,养成良好的编码习惯,系统才能更健壮。
到此,关于“Elasticsearch分页查询的问题有哪些”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。