centos kafka配置有哪些误区

以下是CentOS上配置Kafka的常见误区及解决方案：

1. 配置文件路径错误

   • 未正确指定server.properties等配置文件路径，导致Kafka无法启动。
   • 解决方案：确保配置文件路径正确，启动时通过--config参数指定路径。

2. 端口冲突

   • Kafka默认端口（9092）被其他服务占用，导致启动失败。
   • 解决方案：通过netstat检查端口占用情况，修改listeners配置为其他端口。

3. Java环境配置错误

   • 未安装正确版本的JDK或未设置JAVA_HOME，导致Kafka无法运行。
   • 解决方案：安装与Kafka版本兼容的JDK（如Kafka 2.x需JDK 8+），并正确配置环境变量。

4. 磁盘空间不足

   • 未预留足够磁盘空间，导致日志无法持久化或Broker异常。
   • 解决方案：规划磁盘容量时考虑消息量、副本数及保留天数，预留10%-20%冗余空间，定期清理过期日志。

5. ZooKeeper配置不当

   • 依赖ZooKeeper但未正确启动或配置，导致集群状态异常。
   • 解决方案：确保ZooKeeper先于Kafka启动，配置zookeeper.connect参数为正确的集群地址，监控ZooKeeper状态。

6. 内存配置不合理

   • 堆内存设置过大或过小，引发GC停顿或资源浪费。
   • 解决方案：遵循官方建议，堆内存设置为4-6GB，优先依赖操作系统页缓存，避免过度配置JVM。

7. 分区与副本配置不合理

   • 分区数过少导致吞吐量低，副本数设置不当引发数据不一致或冗余不足。
   • 解决方案：根据业务负载设置分区数（建议为Broker数量的2-3倍），副本数（default.replication.factor）设置为3以保证高可用。

8. 忽略防火墙与安全组

   • 未开放Kafka端口（如9092），导致客户端无法连接。
   • 解决方案：通过firewall-cmd或云平台安全组开放必要端口。

9. 未优化操作系统参数

   • 未调整文件描述符限制、缓冲区大小等参数，导致性能瓶颈。
   • 解决方案：在/etc/security/limits.d中增加nofile限制，调整/etc/sysctl.conf中的网络参数（如net.core.rmem_max）。

10. 忽略日志与监控

    • 未定期查看Kafka日志（如kafkaServer.log），无法及时发现异常。
    • 解决方案：部署监控工具（如Prometheus+Grafana），定期分析日志中的错误和性能指标。