centos上kafka网络配置要点

在CentOS上配置Kafka时，有几个关键要点需要注意，以确保Kafka集群的高可用性、性能和安全性。以下是详细的配置要点：

1. 安装JDK：

   • Kafka是用Java编写的，因此需要安装Java开发工具包(JDK)。通常建议安装JDK 1.8版本。

   sudo yum install java-1.8.0-openjdk-devel -y
   java -version
   

2. 安装Zookeeper：

   • Kafka依赖于Zookeeper进行集群管理和协调。需要安装并配置Zookeeper。

   # 编辑Zookeeper配置文件
   sudo vi /etc/zookeeper/conf/zookeeper.properties
   # 启动Zookeeper服务
   sudo systemctl start zookeeper
   sudo systemctl enable zookeeper
   

3. 配置Kafka：

   • server.properties：这是Kafka的主要配置文件，位于config目录下。需要配置以下参数：
     • broker.id：每个Kafka broker的唯一标识符。
     • listeners：Kafka监听的协议和地址。
     • log.dirs：Kafka日志文件的存储目录。
     • zookeeper.connect：Zookeeper服务器的连接字符串。
     • security.inter.broker.protocol：broker之间的认证协议。
     • listeners.security.protocol.map：定义不同监听器的安全协议。

   broker.id=0
   listeners=PLAINTEXT://:9092
   advertised.listeners=PLAINTEXT://your_server_ip:9092
   log.dirs=/tmp/kafka-logs
   zookeeper.connect=localhost:2181
   listeners.security.protocol.map=PLAINTEXT:PLAINTEXT
   

4. 安全配置：

   • 可以配置SASL/PLAIN文本认证，增加安全性。

   # 编辑Kafka启动脚本
   sudo vi /usr/local/kafka/bin/kafka-server-start.sh
   # 添加以下行
   KAFKA_OPTS="-Djava.security.auth.login.config=/path/to/kafka_server_jaas.conf"
   

5. 防火墙配置：

   • 开放Kafka和Zookeeper所需的网络端口，如9092（Kafka）和2181（Zookeeper）。

   sudo firewall-cmd --zone=public --add-port=9092/tcp --permanent
   sudo firewall-cmd --reload
   

6. 启动服务：

   • 使用kafka-server-start.sh脚本启动Kafka服务，并确保Zookeeper服务已经启动。

   sudo /usr/local/kafka/bin/kafka-server-start.sh ../config/server.properties
   

7. 配置开机自启：

   • 通过systemctl命令将Kafka和Zookeeper设置为开机自启服务。

   sudo cp /usr/local/kafka/bin/kafka-server-start.sh /etc/init.d/kafka
   sudo chkconfig --add kafka
   sudo chkconfig kafka on
   

8. 测试配置：

   • 使用kafka-topics.sh创建主题，使用kafka-console-producer.sh和kafka-console-consumer.sh测试生产者和消费者的通信。

   ./kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
   ./kafka-console-producer.sh --broker-list localhost:9092 --topic test
   ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
   

9. 版本选择：

   • 根据项目需求选择合适的Kafka版本，注意不同版本之间可能存在命令参数和API调用的差异。

通过以上步骤和配置要点，可以在CentOS上成功配置Kafka，确保其高可用性、性能和安全性。