Linux Kafka集群搭建步骤

以下是在Linux上搭建Kafka集群的步骤（以3节点为例）：

一、环境准备

1. 服务器要求：至少3台Linux服务器（如CentOS 7），确保能互相通信。
2. 关闭防火墙/SELinux：

   systemctl stop firewalld && systemctl disable firewalld  # 关闭防火墙  
   setenforce 0  # 临时关闭SELinux  
   sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config  # 永久关闭  
   

3. 安装Java：Kafka依赖JDK 8+，推荐OpenJDK：

   yum install -y java-1.8.0-openjdk-devel  
   java -version  # 验证安装  
   

二、安装Zookeeper集群

1. 下载并解压Zookeeper：

   wget https://downloads.apache.org/zookeeper/stable/zookeeper-3.8.0.tar.gz  
   tar -zxvf zookeeper-3.8.0.tar.gz -C /opt  
   mv /opt/zookeeper-3.8.0 /opt/zookeeper  
   

2. 配置Zookeeper：
   编辑/opt/zookeeper/conf/zoo.cfg，添加集群节点信息：

   tickTime=2000  
   initLimit=10  
   syncLimit=5  
   dataDir=/opt/zookeeper/data  
   clientPort=2181  
   server.1=node1:2888:3888  
   server.2=node2:2888:3888  
   server.3=node3:2888:3888  
   

3. 创建myid文件：在每个节点的/opt/zookeeper/data目录下创建myid，内容为对应节点ID（1/2/3）。
4. 启动Zookeeper：

   /opt/zookeeper/bin/zkServer.sh start  
   

三、安装Kafka集群

1. 下载并解压Kafka：

   wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz  
   tar -zxvf kafka_2.12-3.5.2.tgz -C /usr/local/  
   ln -s /usr/local/kafka_2.12-3.5.2 /usr/local/kafka  
   

2. 配置Kafka：
   编辑/usr/local/kafka/config/server.properties，关键参数：

   broker.id=1  # 每个节点唯一ID（1/2/3）  
   listeners=PLAINTEXT://node1:9092  # 监听地址（需为节点外网IP）  
   log.dirs=/usr/local/kafka/logs  # 日志存储目录  
   zookeeper.connect=node1:2181,node2:2181,node3:2181  # ZooKeeper集群地址  
   

   将配置好的Kafka目录复制到其他节点，修改broker.id和listeners。
3. 启动Kafka：

   /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties  
   

四、验证集群状态

1. 查看Kafka进程：

   jps  # 应看到Kafka进程  
   

2. 创建测试Topic：

   /usr/local/kafka/bin/kafka-topics.sh --create --bootstrap-server node1:9092 --replication-factor 3 --partitions 3 --topic test  
   

3. 测试消息生产与消费：
   • 生产者：

     /usr/local/kafka/bin/kafka-console-producer.sh --bootstrap-server node1:9092 --topic test  
     

   • 消费者：

     /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server node2:9092 --topic test --from-beginning  
     

五、集群优化与安全（可选）

• 配置副本与分区：通过replication.factor和partitions参数调整数据冗余和并行度。
• 启用安全机制：如SSL/TLS加密、SASL认证（需修改server.properties并配置证书）。
• 监控与日志：使用Prometheus+Grafana监控集群状态，定期分析Kafka日志。

注意事项

• 确保Zookeeper集群先于Kafka启动，且所有节点时间同步（可使用NTP服务）。
• 生产环境中建议使用高版本Kafka（如3.5+），并配置自动故障转移机制。

以上步骤参考自，可根据实际环境调整参数。