centos中kafka故障排查步骤

CentOS环境下Kafka故障排查通用步骤

1. 检查Kafka服务状态

使用systemctl命令确认Kafka服务是否正在运行，若未启动则尝试启动并观察启动结果：

systemctl status kafka          # 查看服务状态
systemctl start kafka           # 启动服务（若未运行）
systemctl restart kafka         # 重启服务（若启动失败后尝试恢复）

若启动失败，需结合日志进一步分析原因。

2. 查看Kafka日志文件

Kafka的日志文件（默认位于/path/to/kafka/logs/server.log）是故障定位的核心依据，通过tail命令实时查看最新错误信息：

tail -n 500 /path/to/kafka/logs/server.log | grep -i "error\|exception"  # 过滤错误日志

重点关注NotLeaderForPartitionException（分区Leader异常）、SocketTimeoutException（网络超时）、OutOfMemoryError（内存溢出）等关键错误。

3. 验证Kafka配置文件

检查server.properties（通常位于/etc/kafka/或Kafka安装目录下）的关键配置项，确保无语法错误或逻辑矛盾：

• 基础标识：broker.id需在集群中唯一（整数）；
• ZooKeeper连接：zookeeper.connect需指向正确的ZooKeeper地址（如zk1:2181,zk2:2181,zk3:2181）；
• 网络暴露：listeners（Broker监听地址，如PLAINTEXT://0.0.0.0:9092）和advertised.listeners（客户端连接的Broker地址，如PLAINTEXT://your_server_ip:9092）需配置正确；
• 数据目录：log.dirs需指向存在的、有写入权限的目录（如/var/lib/kafka/data）。

4. 确认ZooKeeper服务状态

Kafka依赖ZooKeeper集群管理元数据，需确保ZooKeeper服务正常运行：

systemctl status zookeeper      # 查看ZooKeeper状态
systemctl start zookeeper       # 启动ZooKeeper（若未运行）

若ZooKeeper异常，需检查其日志（/var/log/zookeeper/zookeeper.log）中的错误信息（如会话超时、节点宕机）。

5. 检查端口占用情况

Kafka默认使用9092端口（生产环境可能自定义），需确认端口未被其他进程占用：

netstat -tuln | grep 9092       # 查看端口占用
lsof -i :9092                   # 查看占用端口的进程

若端口被占用，可修改server.properties中的listeners配置（如改为9093）并重启Kafka。

6. 验证磁盘空间与权限

• 磁盘空间：使用df -h命令检查Kafka数据目录所在磁盘的剩余空间（建议保留至少20%空闲空间），若磁盘满需清理旧日志或扩展磁盘；
• 文件权限：确保Kafka运行用户（如kafka）对数据目录、日志目录有读写权限：

df -h                          # 查看磁盘空间
chown -R kafka:kafka /var/lib/kafka /path/to/kafka/logs  # 修改权限（示例路径）
```。  

#### **7. 排查网络连接问题**  
确保Kafka Broker之间、Broker与客户端之间的网络畅通：  
- **Ping测试**：`ping <broker_ip>`（检查网络连通性）；  
- **Telnet测试**：`telnet <broker_ip> 9092`（检查端口可达性）；  
- **防火墙设置**：若使用`firewalld`，需开放Kafka端口：  
```bash
firewall-cmd --zone=public --add-port=9092/tcp --permanent  # 开放端口
firewall-cmd --reload                                     # 重载防火墙
```。  

#### **8. 处理常见故障场景**  
- **启动失败**：结合日志定位具体原因（如配置错误、端口占用、ZooKeeper不可用），修复后重启；  
- **消息堆积**：优化消费者代码（如使用异步处理、批量拉取）、增加分区数（`kafka-topics.sh --alter --topic <topic_name> --partitions <new_partitions> --bootstrap-server <broker_ip>:9092`）或调整分区分配策略（如`RoundRobinAssignor`）；  
- **数据丢失**：确保生产者配置`acks=all`（所有ISR副本确认）、`retries=3`（自动重试），Broker配置`min.insync.replicas=2`（至少2个副本确认写入）；  
- **消费者Rebalance频繁**：增大`session.timeout.ms`（如30000ms，心跳超时时间）和`max.poll.interval.ms`（如300000ms，拉取消息间隔上限），优化消费者消息处理逻辑（避免单条消息处理耗时过长）。