centos kafka集群扩容方法

以下是在CentOS上扩容Kafka集群的步骤：

1. 准备新节点

   • 安装Java环境：sudo yum install java-1.8.0-openjdk-devel。
   • 下载并解压Kafka：wget https://archive.apache.org/dist/kafka/2.8.0/kafka_2.13-2.8.0.tgz，解压后移动到指定目录（如/opt/kafka）。
   • 配置server.properties：设置唯一broker.id、监听地址listeners、日志目录log.dirs及ZooKeeper连接信息zookeeper.connect。

2. 启动新节点
   执行启动脚本：nohup /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties &。

3. 加入集群
   新节点会自动通过ZooKeeper注册到集群，可通过kafka-topics.sh --bootstrap-server localhost:9092 --describe查看Broker状态。

4. 数据迁移（可选）

   • 使用kafka-reassign-partitions.sh工具重新分配分区，均衡数据到新节点。
   • 示例步骤：生成分区计划JSON文件→执行迁移→验证状态。

5. 验证与监控

   • 检查ZooKeeper状态：/opt/kafka/bin/zkServer.sh status。
   • 通过Prometheus、Grafana等工具监控集群性能，确保新节点正常工作。

注意事项：

• 扩容前备份数据，建议在低负载时段操作。
• 确保新节点硬件资源（CPU、内存、磁盘）充足，网络带宽足够。
• 分区迁移可能影响性能，需提前规划。