Ubuntu Kafka配置如何进行故障排查

Ubuntu Kafka 配置故障排查手册

一 快速定位流程

• 服务状态与日志
  • 查看服务状态：sudo systemctl status kafka
  • 查看 systemd 日志：journalctl -u kafka -n 100 --no-pager -f
  • 查看 Kafka 运行时日志：tail -f /var/log/kafka/server.log
• 配置与关键项
  • 核对 server.properties 中的 broker.id（集群内唯一）、listeners/advertised.listeners（对外可达地址）、zookeeper.connect（或 KRaft 相关配置）、log.dirs（数据目录权限与空间）。
• 网络连通
  • 本机端口：ss -ltnp | grep :9092 或 lsof -i :9092
  • 跨机连通：ping <broker_ip>、telnet <broker_ip> 9092 或 nc -vz <broker_ip> 9092
• 资源与依赖
  • 资源：free -h、df -h、top/htop、iostat -x 1
  • 依赖：ZooKeeper 是否就绪（若使用 ZK 模式）；KRaft 模式则检查 process.roles、controller.quorum.voters 等配置是否正确。

二 常见故障与修复要点

• systemd 启动失败
  • 现象：Active: failed，主进程很快退出。
  • 处理：用 journalctl -u kafka 定位；检查 Type=forking/ExecStart/Restart；必要时设置 SuccessExitStatus；在单元文件里提升 LimitNOFILE=65536；确认脚本确实拉起 Kafka 且未立即退出。
• Fatal error during KafkaServer startup
  • 常见根因：配置错误（端口、目录、ZooKeeper 地址）、端口冲突、Java 版本/环境不对、文件权限不足、磁盘空间不足。
  • 处理：逐项核对 server.properties、释放或更改端口、校正 JAVA_HOME、修正目录权限、清理磁盘或扩容 log.dirs。
• 无法远程连接
  • 现象：本地可连 localhost:9092，远程连不通。
  • 处理：确保 listeners=PLAINTEXT://0.0.0.0:9092 且 advertised.listeners 为客户端可达的 IP:9092；云主机需放通安全组/防火墙；用 telnet/nc 验证连通。
• 配置与系统限制问题
  • 文件描述符过低：在 /etc/security/limits.d/99-nofile.conf 设置 nofile 65536+，并在 systemd 单元中 LimitNOFILE=65536；重启会话或系统生效。
  • 端口冲突：更换 listeners 端口或释放占用进程。
  • 权限/磁盘：确保 Kafka 用户对配置、日志、数据目录可读写；清理或扩容磁盘。
• 消息延迟或吞吐异常
  • 检查生产者 acks、retries、batch.size、linger.ms、compression.type；
  • 检查消费者 fetch.min.bytes、max.poll.records、会话超时；
  • 监控 CPU/内存/磁盘 I/O/网络；必要时升级至 SSD、优化分区数与并发度。

三 最小连通性验证脚本

• 创建测试主题
  • bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
• 列出主题
  • bin/kafka-topics.sh --list --bootstrap-server localhost:9092
• 控制台生产
  • bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test
• 控制台消费
  • bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
• 远程连通测试
  • nc -vz <broker_ip> 9092 或 telnet <broker_ip> 9092

四 关键配置与优化建议

• listeners 与 advertised.listeners
  • 内网：listeners=PLAINTEXT://0.0.0.0:9092
  • 外网：advertised.listeners=PLAINTEXT://<公网或内网可达IP>:9092
• 资源与系统
  • 文件描述符：nofile ≥ 65536（limits 与 systemd 同时设置）
  • 内存与 GC：堆大小适度（如 -Xms/-Xmx 一致），推荐 G1GC；为操作系统 Page Cache 留出余量
  • 存储：优先 SSD；监控 磁盘使用率 与 I/O 等待
• 生产者可靠性
  • 至少使用 acks=1；强一致用 acks=all 并配置 min.insync.replicas≥2
  • 启用重试与幂等：retries>0、enable.idempotence=true
• 消费者可靠性
  • 处理完成再提交（禁用自动提交或改为手动提交），实现 幂等 与 可重入 处理
• 版本与模式
  • 新集群建议考虑 KRaft 模式（Kafka ≥ 3.0），减少 ZooKeeper 依赖并简化部署与恢复。

五 高频命令速查表