Kafka集群扩容步骤是什么

Kafka集群扩容主要通过添加新Broker节点实现，步骤如下：

1. 准备工作

   • 检查ZooKeeper集群健康状态，确保网络、磁盘、CPU等资源充足。
   • 准备新服务器，安装与集群一致的Kafka版本，配置好Java环境。

2. 添加新Broker节点

   • 配置新节点：修改server.properties，设置唯一broker.id、监听地址（listeners）、日志目录（log.dirs）及ZooKeeper连接信息。
   • 启动新节点：执行kafka-server-start.sh启动Broker，确保节点成功加入集群。

3. 更新集群配置（可选）

   • 若使用ZooKeeper管理集群，需在ZooKeeper配置中添加新节点信息，并重启ZooKeeper。

4. 分区重分配（可选）

   • 使用kafka-reassign-partitions.sh工具生成并执行分区迁移计划，将部分分区迁移到新节点，实现负载均衡。
   • 步骤：生成计划 → 执行迁移 → 验证完成。

5. 验证与监控

   • 通过kafka-topics.sh查看Topic分布，确认新节点已承担流量。
   • 使用监控工具（如Prometheus）观察集群性能，确保无异常。

注意事项：

• 扩容建议在低负载时段进行，避免影响业务。
• 若需调整Topic分区数，需提前规划，避免频繁变更。
• 确保新节点配置与集群其他节点一致，尤其是ZooKeeper连接信息。

参考来源：