Ubuntu Kafka如何故障排查

Ubuntu Kafka故障排查指南

一、基础状态检查

1. 服务运行状态确认
   使用systemctl命令检查Kafka及依赖服务（Zookeeper）的运行状态，确保服务处于active (running)状态。若未运行，可通过sudo systemctl start kafka（或zookeeper）启动服务，并通过sudo systemctl enable kafka设置开机自启。
2. 日志分析定位问题
   Kafka的日志默认存储在/var/log/kafka/目录下（核心日志为server.log）。使用tail -f /var/log/kafka/server.log实时查看日志，或tail -500 /var/log/kafka/server.log查看最近500条日志，重点关注ERROR、WARN级别的错误信息（如配置错误、端口冲突、Zookeeper连接失败等）。

二、配置文件验证

1. 关键配置项检查
   打开/etc/kafka/server.properties（默认路径），核对以下核心配置：
   • listeners：Broker监听的地址和端口（如PLAINTEXT://your_server_ip:9092），需与客户端连接地址一致；
   • advertised.listeners：客户端访问Broker的地址（如PLAINTEXT://your_public_ip:9092），若为集群需确保每个Broker的地址可达；
   • zookeeper.connect：Zookeeper集群地址（如localhost:2181或zk1:2181,zk2:2181,zk3:2181），需确保Zookeeper服务正常；
   • log.dirs：日志存储目录（如/var/lib/kafka/logs），需确保目录存在且有写入权限。
2. 配置语法检查
   使用kafka-configs.sh工具或直接读取配置文件，检查是否有拼写错误、格式错误（如缺少引号、逗号）或无效配置项（如不支持的参数）。

三、网络与端口排查

1. 网络连通性测试
   使用ping命令测试Kafka Broker与客户端、Zookeeper节点之间的网络连通性（如ping your_client_ip）；使用telnet或nc命令测试端口是否可达（如telnet your_server_ip 9092或nc -zv your_server_ip 9092）。若无法连通，需检查防火墙（sudo ufw allow 9092）或安全组规则。
2. 端口占用检查
   使用netstat -tuln | grep 9092（或ss -tuln | grep 9092）查看Kafka端口是否被其他进程占用。若端口被占用，可修改server.properties中的listeners配置更换端口，或停止占用端口的进程（如sudo kill -9 <PID>）。

四、依赖服务检查

1. Zookeeper状态验证
   Kafka依赖Zookeeper存储元数据（如Topic、分区信息）。使用systemctl status zookeeper检查Zookeeper服务状态，若未运行，启动服务（sudo systemctl start zookeeper）。可通过echo stat | nc localhost 2181（Zookeeper默认端口2181）查看Zookeeper集群状态，确保Mode为leader或follower。

五、硬件资源监控

1. 资源使用率检查
   使用top、htop查看CPU使用率，free -h查看内存使用情况，df -h查看磁盘空间（确保/var/log/kafka、/var/lib/kafka/logs所在分区有足够空间，建议剩余空间大于20%）。使用iostat -x 1 10查看磁盘IO性能（重点关注await、%util，若%util接近100%说明磁盘瓶颈）。
2. 权限问题排查
   确保Kafka运行用户（通常为kafka或root）对配置文件（/etc/kafka/server.properties）、日志目录（/var/log/kafka）、数据目录（/var/lib/kafka/logs）有读取和写入权限。可使用ls -l /var/log/kafka查看权限，通过sudo chmod -R 755 /var/log/kafka修改权限。

六、常见故障场景解决

1. 启动失败
   若Kafka无法启动，优先检查日志中的错误信息（如Address already in use表示端口占用，No such file or directory表示日志目录不存在）。常见问题及解决：
   • 端口占用：修改listeners配置或停止占用进程；
   • 日志目录权限问题：修改目录权限；
   • Zookeeper连接失败：检查zookeeper.connect配置及Zookeeper服务状态。
2. 消息发送/消费异常
   • 生产者发送失败：检查生产者配置（如bootstrap.servers是否指向正确Broker地址）、Topic是否存在（使用kafka-topics.sh --list --bootstrap-server localhost:9092）、网络是否可达；
   • 消费者无法消费：检查消费者组配置（如group.id是否正确）、订阅Topic是否正确（使用kafka-consumer-groups.sh --describe --bootstrap-server localhost:9092 --group your_group）、消费者是否已提交偏移量（auto.offset.reset设置为earliest可从头消费）。
3. 性能瓶颈
   • 磁盘IO瓶颈：合并小Topic、启用日志压缩（log.cleanup.policy=compact）、使用SSD存储、调整log.segment.bytes（增大日志段大小，减少刷盘次数）；
   • 网络瓶颈：优化TCP参数（如增大socket.send.buffer.bytes、socket.receive.buffer.bytes）、启用Nagle算法（tcp.no.delay=false）；
   • 线程瓶颈：增加num.network.threads（处理网络请求的线程数，建议设置为CPU核数+1）、num.io.threads（处理磁盘IO的线程数，建议设置为CPU核数×2）；
   • 分区不合理：根据消费者并发数调整分区数量（分区数越多，消费并行度越高，但会增加Zookeeper负担）。