Debian Kafka使用中常见误区有哪些

以下是Debian Kafka使用中的常见误区及解决方案：

1. 忽略JDK版本兼容性

   • 误区：使用与Kafka版本不兼容的JDK（如Kafka 2.10需Java 8，Kafka 3.x需Java 11+）。
   • 解决：安装与Kafka版本匹配的JDK，并通过java -version验证。

2. 未正确配置监听器地址

   • 误区：listeners或advertised.listeners配置错误（如未指定IP或端口），导致客户端无法连接。
   • 解决：确保listeners为PLAINTEXT://<IP>:<端口>，advertised.listeners为实际可访问地址，并检查防火墙是否放行端口（默认9092）。

3. 自动创建Topic导致混乱

   • 误区：开启auto.create.topics.enable=true（默认值），可能意外创建未规划的Topic。
   • 解决：生产环境中设置为false，手动通过kafka-topics.sh创建Topic并明确分区、副本数。

4. 内存配置不足

   • 误区：未调整JVM堆内存参数（如-Xms/-Xmx），导致Broker因内存不足频繁GC或崩溃。
   • 解决：在kafka-server-start.sh中设置KAFKA_HEAP_OPTS="-Xms2G -Xmx2G"（根据服务器资源调整）。

5. ZooKeeper配置错误（Kafka 3.x前）

   • 误区：zookeeper.connect参数配置错误（如IP、端口错误或ZooKeeper未启动），导致Broker无法注册。
   • 解决：确认ZooKeeper服务正常运行，检查zookeeper.properties中的clientPort与Kafka配置一致。

6. 分区与副本配置不合理

   • 误区：分区数（num.partitions）过少导致并行处理能力不足，或副本数（default.replication.factor）不足影响数据可靠性。
   • 解决：根据业务负载增加分区数，生产环境副本数建议≥2（需与Broker数量匹配）。

7. 忽略安全配置

   • 误区：生产环境未启用认证（如SASL/SSL），存在数据泄露风险。
   • 解决：配置security.inter.broker.protocol=SASL_PLAINTEXT等参数，启用认证机制。

8. 日志目录权限问题

   • 误区：log.dirs指定的目录无写权限，导致Broker无法存储数据。
   • 解决：确保目录存在且属于Kafka运行用户（如chown -R kafka:kafka /var/lib/kafka/logs）。