Elasticsearch分页查询的问题有哪些

发布时间:2021-10-21 10:29:48 作者:iii
来源:亿速云 阅读:270

这篇文章主要介绍“Elasticsearch分页查询的问题有哪些”,在日常操作中,相信很多人在Elasticsearch分页查询的问题有哪些问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Elasticsearch分页查询的问题有哪些”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

Elasticsearch 分页查询有个特点,如果你写一个这样的查询语句:

{
    "from" : 10, "size" : 10,
    "query" : {}
}

Elasticsearch 会查询出前 20 条数据,然后截断前 10 条,只返回 10-20 的数据。

这样做带来的副作用很明显,数据量大的话,越到后面查询越慢。

所以针对大数据量的查询,要使用 scroll。这种方式相当于建立了一个游标,标记当前的读取位置,保证下一次查询快速取出数据。

但这两种方式都还有一个小坑需要注意,下面来详细说明。

from + size 方式

可能会出现的问题:

Result window is too large, from + size must be less than or equal to: [10000] but was [10010]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level setting.

这个报错信息其实已经说的很明确了,通过这种分页方式查询的最大值是 10000,超过 10000 就会报错。

解决办法也很简单,一是针对大数据量查询采用 scroll 方式;二是增加 index.max_result_window 值的大小,使其支持查询范围。

推荐使用 scroll 方式。

scroll 方式

可能会出现的问题:

Trying to create too many scroll contexts. Must be less than or equal to: [500]. This limit can be set by changing the [search.max_open_scroll_context] setting.

产生这个错误的原因是:

当有大量需要使用 scroll 的请求向 Elasticsearch 请求数据时,系统默认最大 scroll_id 数量是 500,当达到最大值时,导致部分请求没有 scroll_id 可用,产生报错。

特别是在高并发场景下,这种问题可能会更加常见。

解决办法可以增加 search.max_open_scroll_context 值的大小。

但这么解决并不好,更好的办法是查询完之后,及时清理 scroll_id。

# python
from elasticsearch import Elasticsearch


client = Elasticsearch(host, http_auth=(username, password), timeout=3600)
es_data = client.search(es_index, query_body, scroll='1m', size=100)
scroll_id = es_data['_scroll_id']
client.clear_scroll(scroll_id=scroll_id)	# 清理方法

其实,即使我们不手动清理,等过期之后,游标也会自己释放,这跟使用时的参数有关。

比如 scroll='1m' 代表 1min 后会释放。

但就像我们使用其他资源一样,使用完之后及时释放,养成良好的编码习惯,系统才能更健壮。

到此,关于“Elasticsearch分页查询的问题有哪些”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!

推荐阅读:
  1. mysql分页查询有什么作用
  2. Elasticsearch有什么用

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

python elasticsearch

上一篇:如何实现GC

下一篇:系统设计之怎么降低复杂性

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》