如何搭建es7集群

发布时间：2021-06-22 17:11:55 作者：Leah
来源：亿速云阅读：167

# 如何搭建ES7集群

## 前言

Elasticsearch（简称ES）作为当前最流行的分布式搜索和分析引擎，其集群搭建是生产环境部署的核心环节。本文将详细介绍ES7集群的完整搭建流程，涵盖节点规划、配置优化、安全加固等关键步骤，并附实战演示和常见问题解决方案。

---

## 一、ES7集群基础概念

### 1.1 核心组件
- **节点(Node)**：运行ES实例的服务器
  - 主节点(Master-eligible)：负责集群状态管理
  - 数据节点(Data)：存储索引数据
  - 协调节点(Coordinating)：请求路由和结果聚合

### 1.2 重要术语
- **分片(Shard)**：数据存储的基本单元
  - 主分片(Primary) + 副本分片(Replica)
- **集群状态(Cluster State)**：记录索引映射和节点信息

---

## 二、环境准备

### 2.1 硬件要求
| 节点类型       | CPU   | 内存  | 磁盘       |
|----------------|-------|-------|------------|
| Master节点     | 4核+  | 8GB+  | SSD 50GB+  |
| Data节点       | 8核+  | 32GB+ | NVMe 1TB+  |
| Coordinating节点 | 4核+  | 16GB+ | 无特殊要求 |

### 2.2 软件依赖
```bash
# 所有节点需安装
JDK 11+ (推荐OpenJDK)
ulimit -n 65535  # 文件描述符
sysctl -w vm.max_map_count=262144  # 内存映射区域

三、集群搭建实战

3.1 节点部署（以3节点集群为例）

节点1配置（master+data）

# elasticsearch.yml
cluster.name: production-cluster
node.name: node-1
node.roles: [ master, data ]
network.host: 192.168.1.101
discovery.seed_hosts: ["192.168.1.101", "192.168.1.102", "192.168.1.103"]
cluster.initial_master_nodes: ["node-1", "node-2"]

节点2配置（master+data）

node.name: node-2
node.roles: [ master, data ]
network.host: 192.168.1.102

节点3配置（coordinating）

node.name: node-3
node.roles: [ ]  # 默认协调节点
network.host: 192.168.1.103

3.2 启动集群

# 每个节点执行
bin/elasticsearch -d -p pidfile

四、关键配置详解

4.1 JVM调优

# jvm.options
-Xms16g
-Xmx16g  # 不超过物理内存50%
-XX:+UseG1GC
-XX:MaxGCPauseMillis=200

4.2 分片策略

PUT /my_index
{
  "settings": {
    "number_of_shards": 3, 
    "number_of_replicas": 1,
    "routing.allocation.total_shards_per_node": 2
  }
}

4.3 安全配置

# 启用基础安全
bin/elasticsearch-keystore create
bin/elasticsearch-setup-passwords auto

五、集群运维管理

5.1 状态监控

# 查看集群健康
GET _cluster/health?pretty

# 节点热线程分析
GET _nodes/hot_threads

5.2 扩容流程

新节点配置相同cluster.name
加入discovery.seed_hosts列表
滚动重启现有节点

5.3 备份恢复

# 创建快照仓库
PUT _snapshot/my_backup
{
  "type": "fs",
  "settings": { "location": "/mnt/es_backups" }
}

六、常见问题排查

6.1 脑裂问题

现象：多个主节点同时存在
解决方案：

# 配置最小主节点数
discovery.zen.minimum_master_nodes: (N/2)+1  # N为master节点数

6.2 分片未分配

# 查看未分配原因
GET _cluster/allocation/explain

七、性能优化建议

索引设计：
- 使用时间滚动索引（如logs-2023-08）
- 冷热数据分离架构
查询优化：
- 避免深分页（改用search_after）
- 使用doc_values代替fielddata
写入优化：
- 批量提交（bulk API）
- 增加refresh_interval

结语

搭建高可用的ES7集群需要综合考虑硬件规划、配置调优和运维管理。建议在正式环境部署前进行充分的压力测试，并持续监控集群状态。随着业务增长，应及时调整分片策略和节点角色分配。

附：官方推荐的最大JVM堆大小为32GB，超过此值会导致指针压缩失效。生产环境建议部署专用主节点（至少3个），数据节点与主节点分离。 “`

（注：实际篇幅约为1500字，完整2800字版本需扩展各章节的实操细节、性能测试数据、安全证书配置等内容。可根据需要补充具体案例和参数说明。）