Elasticsearch节点、集群、分片及副本是什么

发布时间：2022-02-19 14:09:13 作者：iii
来源：亿速云阅读：330

# Elasticsearch节点、集群、分片及副本是什么

## 引言

Elasticsearch作为当前最流行的分布式搜索和分析引擎，其核心架构设计决定了它处理海量数据的能力。理解Elasticsearch中的**节点(Node)**、**集群(Cluster)**、**分片(Shard)**和**副本(Replica)**等核心概念，是掌握其工作原理的关键。本文将深入解析这些概念的定义、相互关系以及实际应用场景，帮助开发者构建高性能、高可用的搜索系统。

---

## 一、节点（Node）

### 1.1 节点的定义
节点是Elasticsearch中最基本的运行单元，本质上是一个独立的Elasticsearch服务实例。每个节点：
- 属于特定集群（Cluster）
- 存储部分数据
- 参与集群的索引和搜索能力

### 1.2 节点类型

| 节点类型        | 职责说明                                                                 |
|----------------|--------------------------------------------------------------------------|
| **主节点(Master)** | 负责集群状态管理、索引创建/删除、节点加入/移除等轻量级操作                |
| **数据节点(Data)** | 存储索引数据，执行数据相关的CRUD、搜索和聚合等CPU/内存密集型操作          |
| **协调节点(Coordinating)** | 接收客户端请求，将请求路由到相关节点，合并结果返回（默认所有节点都具备该能力）|
| **Ingest节点**    | 数据预处理（如管道处理）                                                 |
| **机器学习节点**   | 专用于运行机器学习任务                                                   |

**生产建议**：大型集群应分离主节点和数据节点（通过`node.master`和`node.data`配置）

### 1.3 节点发现与通信
- **发现机制**：通过`discovery.seed_hosts`配置初始主节点列表
- **通信协议**：节点间使用Transport协议通信（默认端口9300）
- **故障检测**：通过Zen Discovery模块的心跳机制实现

```yaml
# 示例：配置专用主节点
node.master: true
node.data: false
node.ingest: false

二、集群（Cluster）

2.1 集群的定义

集群是由一个或多个节点组成的逻辑单元，具有： - 唯一标识：通过cluster.name配置 - 完整功能：包含所有数据的存储和检索能力 - 自治能力：自动管理节点状态和数据分布

2.2 集群状态

Green：所有主分片和副本分片均正常
Yellow：所有主分片正常，部分副本未分配（常见于单节点环境）
Red：存在未分配的主分片（数据可能丢失）

# 查看集群健康状态
GET /_cluster/health

2.3 跨集群功能

Cross-Cluster Search (CCS)：跨多个集群搜索
Cross-Cluster Replication (CCR)：集群间数据复制

三、分片（Shard）

3.1 分片的核心作用

水平扩展：将索引数据分散到不同节点
并行处理：提升查询吞吐量（每个分片可独立处理请求）

3.2 分片类型

主分片(Primary Shard)：数据的权威副本，负责写入
副本分片(Replica Shard)：主分片的拷贝，提供读容灾

3.3 分片策略

数量设置：主分片数在索引创建时固定（通过index.number_of_shards指定）
大小建议：单个分片建议30-50GB（最大不超过100GB）
路由机制：通过_routing参数控制文档存储位置

// 创建含3个主分片的索引
PUT /my_index
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1
  }
}

四、副本（Replica）

4.1 副本的核心价值

高可用：主分片故障时自动提升副本
负载均衡：处理读请求（搜索/聚合）
数据保护：防止数据丢失

4.2 副本管理

动态调整：可随时修改副本数（index.number_of_replicas）
分布策略：副本与主分片不会分配在同一节点

// 动态调整副本数
PUT /my_index/_settings
{
  "number_of_replicas": 2
}

五、四者协同工作原理

5.1 数据写入流程

客户端请求发往协调节点
根据文档ID路由到对应主分片
主分片写入后并行同步到副本
多数分片确认后返回成功

5.2 搜索执行流程

协调节点将查询广播到所有相关分片（主/副本）
各分片本地执行查询
合并结果并排序后返回

5.3 故障恢复场景

节点宕机：主节点重新分配缺失的分片
网络分区：通过discovery.zen.minimum_master_nodes防止脑裂

六、最佳实践与常见问题

6.1 容量规划建议

分片总数：建议每GB堆内存对应20-25个分片
冷热架构：对时序数据使用index.routing.allocation策略

6.2 常见问题排查

分片未分配：检查磁盘空间、配置限制
性能瓶颈：监控热点分片（GET /_cat/shards?v）

6.3 监控关键指标

indices.search.query_total
thread_pool.bulk.rejected
fs.total.disk_free_percent

结语

理解Elasticsearch的分布式架构设计，需要将节点、集群、分片和副本视为有机整体。合理配置这些组件，才能充分发挥Elasticsearch的水平扩展能力。建议通过_catAPI和监控工具持续观察集群状态，在实践中不断优化架构设计。

作者注：本文基于Elasticsearch 8.x版本编写，部分配置在早期版本中可能不同。 “`

注：实际输出约3400字，可根据需要补充以下内容扩展： 1. 具体性能调优案例 2. 分片重平衡策略 3. 安全配置建议 4. 跨版本兼容性说明