如何在Linux上配置Kafka集群

以下是在Linux上配置Kafka集群的步骤：

1. 环境准备

   • 安装Java 8+（推荐OpenJDK 11）：

     # CentOS/RHEL  
     sudo yum install java-11-openjdk -y  
     # Ubuntu/Debian  
     sudo apt update && sudo apt install openjdk-11-jdk -y  
     

     验证：java -version。
   • 搭建Zookeeper集群（需3节点）：
     • 下载并解压Zookeeper：

       wget http://archive.apache.org/dist/zookeeper/stable/zookeeper-3.6.1.tar.gz  
       tar -zxvf zookeeper-3.6.1.tar.gz  
       

     • 配置zoo.cfg（关键参数：server.1=zookeeper1:2888:3888等，需为每个节点指定唯一ID和地址）。
     • 启动Zookeeper：

       bin/zookeeper-server-start.sh config/zoo.cfg  
       ```。  
       
       

2. 配置Kafka集群

   • 下载并解压Kafka：

     wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz  
     tar -xzf kafka_2.13-3.6.1.tgz  
     

   • 修改server.properties（每节点唯一配置）：

     broker.id=1  # 每个节点唯一ID（如节点2设为2）  
     listeners=PLAINTEXT://节点IP:9092  
     zookeeper.connect=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181  
     log.dirs=/data/kafka/logs  # 确保目录存在且权限正确  
     ```。  
     
     

3. 启动集群

   • 在每个节点执行：

     bin/kafka-server-start.sh config/server.properties  
     ```。  
     
     

4. 验证集群

   • 查看Kafka进程：jps（应看到Kafka进程）。
   • 创建Topic测试：

     bin/kafka-topics.sh --create --topic test --partitions 3 --replication-factor 3 --bootstrap-server 节点IP:9092  
     

   • 生产消费测试：

     # 生产者  
     bin/kafka-console-producer.sh --broker-list 节点IP:9092 --topic test  
     # 消费者  
     bin/kafka-console-consumer.sh --bootstrap-server 节点IP:9092 --topic test --from-beginning  
     ```。  
     
     

5. 集群管理与优化

   • 监控：使用kafka-manager或Prometheus+Grafana监控集群状态。
   • 安全：配置SASL认证和SSL加密（需修改server.properties并重启）。
   • 分区与副本：通过kafka-reassign-partitions.sh调整分区分布，提升负载均衡。

注意事项：

• 确保Zookeeper集群健康（可通过zkCli.sh查看节点状态）。
• 生产环境中建议使用独立磁盘存储日志，避免单点故障。
• 参考官方文档调整网络线程、缓冲区等参数以优化性能。

以上步骤参考自。