elasticsearch怎么根据条件删除数据

发布时间：2023-03-21 15:42:17 作者：iii
来源：亿速云阅读：184

Elasticsearch怎么根据条件删除数据

Elasticsearch 是一个分布式、RESTful 风格的搜索和分析引擎，广泛应用于日志分析、全文搜索、实时数据分析等场景。在实际使用中，我们经常需要根据特定条件删除数据。本文将详细介绍如何在 Elasticsearch 中根据条件删除数据，并提供一些实用的示例。

1. 使用 Delete By Query API

Elasticsearch 提供了 Delete By Query API，允许用户根据查询条件删除文档。这个 API 会先执行一个查询，然后删除所有匹配的文档。

1.1 基本用法

Delete By Query API 的基本语法如下：

POST /<index>/_delete_by_query
{
  "query": {
    "match": {
      "<field>": "<value>"
    }
  }
}

<index>：要删除数据的索引名称。
<field>：要匹配的字段名称。
<value>：要匹配的字段值。

1.2 示例

假设我们有一个名为 logs 的索引，其中包含日志数据。我们想要删除所有 level 字段为 ERROR 的文档，可以使用以下请求：

POST /logs/_delete_by_query
{
  "query": {
    "match": {
      "level": "ERROR"
    }
  }
}

1.3 处理冲突

在执行 Delete By Query 操作时，可能会遇到文档冲突（例如文档在删除过程中被更新）。Elasticsearch 提供了 conflicts 参数来处理这种情况：

conflicts=proceed：继续执行删除操作，忽略冲突。
conflicts=abort：遇到冲突时中止操作。

示例：

POST /logs/_delete_by_query?conflicts=proceed
{
  "query": {
    "match": {
      "level": "ERROR"
    }
  }
}

1.4 异步执行

对于大量数据的删除操作，Delete By Query 可能会花费较长时间。为了避免阻塞，可以使用 wait_for_completion=false 参数将操作设置为异步执行：

POST /logs/_delete_by_query?wait_for_completion=false
{
  "query": {
    "match": {
      "level": "ERROR"
    }
  }
}

执行后，Elasticsearch 会返回一个任务 ID，可以通过 _tasks API 查看任务状态：

GET /_tasks/<task_id>

2. 使用 Painless Script 删除数据

在某些情况下，我们可能需要根据更复杂的条件删除数据。Elasticsearch 的 Painless 脚本语言可以帮助我们实现这一点。

2.1 基本用法

Painless 脚本可以在 Delete By Query API 中使用，通过 script 参数指定删除条件。

POST /<index>/_delete_by_query
{
  "query": {
    "bool": {
      "must": [
        {
          "script": {
            "script": {
              "source": "<painless_script>",
              "lang": "painless"
            }
          }
        }
      ]
    }
  }
}

2.2 示例

假设我们有一个名为 products 的索引，其中包含产品数据。我们想要删除所有 price 字段小于 10 且 stock 字段为 0 的文档，可以使用以下请求：

POST /products/_delete_by_query
{
  "query": {
    "bool": {
      "must": [
        {
          "script": {
            "script": {
              "source": "doc['price'].value < 10 && doc['stock'].value == 0",
              "lang": "painless"
            }
          }
        }
      ]
    }
  }
}

3. 使用 Bulk API 删除数据

对于需要删除大量数据的场景，Bulk API 是一个更高效的选择。Bulk API 允许我们在单个请求中执行多个操作，包括删除操作。

3.1 基本用法

Bulk API 的基本语法如下：

POST /_bulk
{ "delete": { "_index": "<index>", "_id": "<id>" } }
{ "delete": { "_index": "<index>", "_id": "<id>" } }
...

3.2 示例

假设我们有一个名为 users 的索引，其中包含用户数据。我们想要删除 ID 为 1 和 2 的文档，可以使用以下请求：

POST /_bulk
{ "delete": { "_index": "users", "_id": "1" } }
{ "delete": { "_index": "users", "_id": "2" } }

3.3 结合查询条件

虽然 Bulk API 本身不支持直接根据查询条件删除数据，但我们可以先通过查询获取符合条件的文档 ID，然后使用 Bulk API 删除这些文档。

示例：

查询获取符合条件的文档 ID：

GET /users/_search
{
  "query": {
    "match": {
      "status": "inactive"
    }
  },
  "_source": false,
  "size": 1000
}

使用 Bulk API 删除这些文档：

POST /_bulk
{ "delete": { "_index": "users", "_id": "1" } }
{ "delete": { "_index": "users", "_id": "2" } }
...

4. 使用 Curator 工具删除数据

Elasticsearch Curator 是一个强大的工具，专门用于管理 Elasticsearch 索引和数据。它可以帮助我们根据各种条件（如时间、索引模式等）删除数据。

4.1 安装 Curator

可以通过 pip 安装 Curator：

pip install elasticsearch-curator

4.2 示例

假设我们想要删除所有超过 30 天的日志索引，可以使用以下 Curator 配置文件：

actions:
  1:
    action: delete_indices
    description: "Delete indices older than 30 days"
    options:
      ignore_empty_list: True
      timeout_override: 300
      continue_if_exception: False
      disable_action: False
    filters:
    - filtertype: pattern
      kind: prefix
      value: "logs-"
    - filtertype: age
      source: name
      direction: older
      timestring: "%Y.%m.%d"
      unit: days
      unit_count: 30

然后运行 Curator：

curator --config curator.yml actions.yml

5. 总结

在 Elasticsearch 中，根据条件删除数据有多种方法，每种方法都有其适用的场景。Delete By Query API 是最常用的方法，适用于大多数简单的删除操作。对于复杂的条件，可以使用 Painless 脚本。Bulk API 适合处理大量数据的删除操作，而 Curator 工具则适合自动化管理索引和数据。

根据实际需求选择合适的方法，可以有效地管理和维护 Elasticsearch 中的数据。