kafka配置centos时需注意啥

在CentOS上配置Kafka时，需注意以下关键点：

1. 环境准备

   • 安装JDK 1.8+并配置环境变量，验证java -version。
   • 安装Zookeeper（Kafka依赖其集群管理），配置zookeeper.connect参数。

2. 配置文件优化

   • 修改server.properties：
     • broker.id：集群中每个节点唯一标识。
     • listeners/advertised.listeners：配置监听地址及对外暴露的地址（如PLAINTEXT://your_ip:9092）。
     • log.dirs：指定日志存储目录（建议使用SSD，避免/tmp）。
     • zookeeper.connect：填写Zookeeper集群地址（生产环境建议配置3节点）。
     • 生产环境需关闭auto.create.topics.enable，避免误创建主题。

3. 安全配置

   • 启用SSL加密：配置security.protocol=SSL及证书路径。
   • 配置SASL认证：设置security.inter.broker.protocol=SASL_PLAINTEXT及用户名密码。

4. 性能优化

   • 调整JVM参数：在kafka-server-start.sh中设置KAFKA_HEAP_OPTS="-Xms4g -Xmx4g"（不超过物理内存70%）。
   • 优化磁盘I/O：使用SSD存储日志，挂载时添加noatime,nobarrier选项。
   • 分区与副本：根据业务需求设置合理的分区数（num.partitions）和副本数（default.replication.factor）。

5. 服务管理

   • 配置开机自启动：通过systemd创建服务脚本，设置User和Group为专用用户（如kafka）。
   • 防火墙放通端口：开放Kafka（默认9092）和Zookeeper（默认2181）端口。

6. 监控与维护

   • 使用Kafka自带命令监控集群状态，如kafka-topics.sh --describe查看主题详情，kafka-consumer-groups.sh监控消费延迟。
   • 定期清理日志文件，避免磁盘占满。

参考来源：[1,2,3,4,5,6,7,8,9,10,11]