Linux Kafka配置时需注意什么

在Linux上配置Kafka时，需重点关注以下方面：

1. 环境准备

   • 安装Java 8+（推荐OpenJDK 11+）。
   • 确保ZooKeeper服务正常（Kafka 2.8+可不用ZooKeeper，需配置Kraft模式）。

2. 核心配置文件（server.properties）

   • 唯一标识：broker.id需在集群中唯一。
   • 数据存储：log.dirs指定多磁盘目录（如/data1/kafka,/data2/kafka）。
   • 网络配置：listeners设置监听地址（如PLAINTEXT://0.0.0.0:9092），advertised.listeners配置外部访问地址。
   • 性能参数：
     • num.partitions：根据吞吐量调整（建议CPU核心数×2）。
     • replication.factor：生产环境设为2-3，确保高可用。
     • log.retention.hours：设置日志保留时间（如168小时，即7天）。

3. 硬件与系统优化

   • 内存：JVM堆内存建议设置为可用内存的50%-70%（如-Xms8g -Xmx8g），避免超过50GB。
   • 磁盘：使用SSD提升I/O性能，配置noatime挂载选项减少磁盘开销。
   • 网络：确保千兆/万兆网络，避免跨机房延迟。

4. 高可用与安全

   • 副本机制：设置min.insync.replicas=2，确保数据可靠性。
   • 权限控制：启用SASL认证和ACL，限制非法访问。

5. 监控与维护

   • 启用JMX监控（JMX_PORT=9999），定期检查Broker状态。
   • 配置日志滚动（log.roll.hours）和压缩（log.cleaner.enable=true）。

6. 常见问题规避

   • 检查端口冲突（如9092、2181），避免与其他服务重叠。
   • 确保文件描述符限制足够（通过ulimit -n设置为100000+）。

参考来源：