Kafka 在 Ubuntu 上的故障排查指南 - 问答

Kafka在Ubuntu上的故障排查指南

首先确认Kafka服务是否正在运行，使用以下命令查看服务状态：

sudo systemctl status kafka

若服务未运行，启动Kafka服务：

sudo systemctl start kafka

若需Kafka随系统启动自动运行，执行：

sudo systemctl enable kafka

日志是故障定位的核心依据，Kafka默认日志路径为/var/log/kafka/（或config/log.dirs配置的目录），重点查看server.log文件；Zookeeper日志通常位于其logs目录（如/tmp/zookeeper/）。使用以下命令实时查看日志：

sudo tail -f /var/log/kafka/server.log  # Kafka日志
tail -f /tmp/zookeeper/zookeeper.out   # Zookeeper日志（默认路径）

通过日志中的错误信息（如NullPointerException、Connection refused）可快速定位问题根源。

Kafka的主配置文件为/etc/kafka/server.properties（或解压目录下的config/server.properties），需检查以下关键配置项：

broker.id：每个Broker的唯一标识（集群中不可重复）；
listeners：Broker监听的地址和端口（如PLAINTEXT://0.0.0.0:9092，0.0.0.0表示监听所有网卡）；
advertised.listeners：客户端连接的地址（如PLAINTEXT://your_server_ip:9092，需确保客户端可达）；
zookeeper.connect：Zookeeper集群地址（如localhost:2181或zk1:2181,zk2:2181,zk3:2181）；
log.dirs：日志存储目录（需提前创建且具备写权限）。
配置错误（如端口冲突、路径不存在）会导致Kafka无法启动。

Kafka依赖Zookeeper实现集群协调，需确保Zookeeper服务正常运行：

sudo systemctl status zookeeper

若未启动，启动Zookeeper：

sudo systemctl start zookeeper

若Zookeeper无法启动，需检查其日志（/tmp/zookeeper/zookeeper.out）中的错误信息。

Kafka集群内Broker之间、Broker与客户端之间需通过网络通信，使用以下命令检查网络连通性：

测试本地端口：
```
telnet localhost 9092
```
若连接失败，说明端口未开放或Kafka未监听该端口。
测试远程端口（替换为目标Broker IP）：
```
telnet your_broker_ip 9092
```
若连接失败，需检查防火墙设置或网络路由。

Kafka依赖磁盘存储消息，磁盘空间不足或IO性能差会导致写入失败或性能下降：

检查磁盘空间：
```
df -h
```
若Use%超过80%，需清理磁盘（如删除旧日志、扩容磁盘）。
检查IO性能：
```
iostat -x 1 10
```
关注%util（磁盘利用率）和await（平均等待时间），若%util接近100%，说明磁盘IO瓶颈。

Kafka进程需具备访问配置文件、日志目录和数据目录的权限：

检查目录权限（以/var/log/kafka为例）：

ls -ld /var/log/kafka

若权限不足，修改权限：

sudo chmod -R 755 /var/log/kafka
sudo chown -R $USER:$USER /var/log/kafka  # 替换为Kafka运行用户

Kafka提供了一系列命令行工具，可用于验证服务状态和消息流程：

查看Topic列表：

bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

创建Topic（替换test为Topic名称）：

bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --replication-factor 1 --partitions 1 --topic test

生产消息：

bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test

消费消息：

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

通过这些工具可验证Kafka是否能正常处理消息。

若以上步骤均无法解决问题，尝试重启Kafka服务（需先停止Zookeeper）：

sudo systemctl stop kafka
sudo systemctl stop zookeeper
sudo systemctl start zookeeper
sudo systemctl start kafka

重启可解决临时性故障（如内存泄漏、进程卡死）。

若问题仍未解决，可提供以下信息向Kafka社区或官方论坛求助：

0 赞

0 踩