CentOS 下 Kafka 配置常见问题与排查要点
一 环境准备与依赖
- 安装并配置 Java（JDK 8+），确保 JAVA_HOME 正确，Kafka 启动脚本能找到 Java 可执行文件。
- 正确安装并启动 Zookeeper，Kafka 依赖其保存集群元数据；如使用内置 Zookeeper，需先启动内置实例。
- 开放必要端口（如 9092、2181），并确认 firewalld/iptables 策略允许节点与客户端通信。
- 注意 版本兼容性（Broker、客户端、工具链），不同版本的命令参数与 API 可能存在差异。
二 配置关键点与常见错误
- 必填项核对：每个 Broker 的 broker.id 必须唯一；log.dirs 指定的目录需存在且可写；zookeeper.connect 地址与端口正确。
- 监听与对外地址：同时正确配置 listeners 与 advertised.listeners，否则会出现“能连上但不能收发”的现象；跨机房/内外网访问时，advertised 应填写客户端可达的 IP/域名。
- 安全配置：启用 SASL/SSL 时，需在启动脚本中指定 JAAS 文件（如 kafka_server_jaas.conf），并在 server.properties 中设置 security.inter.broker.protocol、sasl.enabled.mechanisms 等参数。
- 系统策略：如 SELinux 策略严格，可能阻止进程绑定端口或访问目录，必要时可先设为 permissive 进行验证（生产环境请按需精细化策略）。
三 启动失败与服务管理
- 快速排查路径：
- 确认 Zookeeper 已启动且网络可达（检查 server.properties 的 zookeeper.connect）。
- 校验 log.dirs 是否存在且权限正确（示例：mkdir -p /var/lib/kafka/logs && chown kafka:kafka /var/lib/kafka/logs）。
- 检查 端口占用（如 netstat -tulpen | grep 9092），必要时调整 listeners 端口。
- 查看 Kafka 日志（如 /var/log/kafka/server.log 或安装目录下的 logs/），定位具体异常堆栈。
- systemd 服务示例要点（/etc/systemd/system/kafka.service）：
- ExecStart 使用绝对路径，例如：/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
- 若启用 SASL，在 Environment 中传入 KAFKA_OPTS=“-Djava.security.auth.login.config=/opt/kafka/config/kafka_server_jaas.conf”
- 设置 User=kafka、Restart=on-failure，并配置 [Unit] After=zookeeper.service 以保证启动顺序。
四 运行期常见故障与优化
- Rebalance 失败：常见于消费者重启、网络抖动或配置不当；检查 group.id、client.id、会话超时等，必要时升级客户端版本并减少频繁启停。
- 消费者滞后与积压：可能因分区不均、消费者能力不足或网络延迟；优化消费逻辑、增加消费者实例、合理增加 分区数、使用压缩并评估 linger.ms / batch.size。
- 性能低下：结合硬件（SSD、万兆网卡）、Broker 线程与网络缓冲（如 num.network.threads、num.io.threads、socket.send/receive.buffer.bytes）进行调优。
- 磁盘与日志管理：监控 磁盘空间，合理设置 log.retention.hours / log.retention.bytes 与段大小，避免磁盘被占满导致 Broker 异常。
五 内存与资源调优建议
- JVM 堆设置：通过环境变量 KAFKA_HEAP_OPTS 调整，例如 -Xms4G -Xmx4G；一般建议堆不超过 物理内存的 50%，且不超过 32GB（便于利用指针压缩）。
- GC 与性能参数：常用 G1GC，如 -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35，在吞吐与停顿间取得平衡。
- 线程与网络：按 CPU 核数规划 num.network.threads ≈ CPU 核数、num.io.threads ≈ CPU 核数×2；结合负载调大 socket.send/receive.buffer.bytes 与 socket.request.max.bytes。
- 监控与迭代：使用 jstat/jmap/jconsole 观察 GC、堆与线程，结合业务压测持续微调参数。