CentOS上Zookeeper的故障排查步骤是什么

CentOS上Zookeeper故障排查步骤

一 快速状态与进程检查

• 查看服务状态：优先使用系统服务管理查看状态与日志输出，命令为：sudo systemctl status zookeeper；若未运行，执行：sudo systemctl start zookeeper，并设置开机自启：sudo systemctl enable zookeeper。如使用安装包自带的脚本，可用：./zkServer.sh status/start。
• 检查进程：确认 QuorumPeerMain 是否在运行，命令：jps | grep QuorumPeerMain。
• 快速健康探测：通过四字命令检测服务存活与角色，命令：echo ruok | nc localhost 2181（返回 imok 表示存活）；查看简要状态：echo stat | nc localhost 2181；获取指标：echo mntr | nc localhost 2181。
• 查看运行日志：常见路径为 /var/log/zookeeper/zookeeper.out 或安装目录下的 logs/zookeeper.out，使用：tail -n100 /var/log/zookeeper/zookeeper.out。

二 配置与权限核查

• 配置文件：核对 /etc/zookeeper/conf/zoo.cfg 或安装目录 conf/zoo.cfg 的关键参数，示例：
  tickTime=2000
  initLimit=5
  syncLimit=2
  dataDir=/var/lib/zookeeper
  clientPort=2181
  server.1=node1:2888:3888
  server.2=node2:2888:3888
  注意：配置项前后空格、IP/端口拼写、server.X 编号一致性。
• myid 文件：在每个节点的 dataDir 下创建 myid，其值必须与 server.X 的 X 一致，例如节点1执行：echo “1” > /var/lib/zookeeper/myid。
• 目录与权限：确保 dataDir（及可选的 dataLogDir）存在且对运行用户可读写，示例：chown -R zk:zk /var/lib/zookeeper，chmod -R 755 /var/lib/zookeeper。
• Java 环境：检查版本与 JAVA_HOME，命令：java -version，echo $JAVA_HOME；建议使用 OpenJDK 8 或与发行版兼容的版本，必要时在 /etc/profile 或 ~/.bash_profile 中导出 JAVA_HOME。

三 网络连通与防火墙

• 端口占用：确认 2181（客户端）、2888/3888（集群通信）未被占用，命令：ss -tulnp | grep -E ‘2181|2888|3888’ 或 netstat -tulnp | grep -E ‘2181|2888|3888’；若冲突，终止占用进程或修改 clientPort。
• 防火墙放行：临时放行用于排查：sudo systemctl stop firewalld；生产环境建议永久放行：sudo firewall-cmd --permanent --add-port=2181/tcp，sudo firewall-cmd --permanent --add-port=2888/tcp，sudo firewall-cmd --permanent --add-port=3888/tcp，然后 sudo firewall-cmd --reload。
• 主机名解析：检查 /etc/hosts 与 DNS，确保主机名可解析到正确 IP，避免因解析失败导致节点无法互通。

四 日志与数据目录深入排查

• 日志定位：除 zookeeper.out 外，事务日志与快照由 zoo.cfg 的 dataLogDir（事务日志目录）与 dataDir（快照目录）决定；事务日志通常以 log. 命名，快照以 snapshot. 命名。
• 数据损坏场景：若日志出现如 Unable to load database 等数据目录损坏提示，可在确保无重要数据或已备份的前提下，清理 dataDir/version-2 后重启；极端情况下清理 dataLogDir 再启动（风险高，谨慎操作）。
• 自动清理：为减少磁盘压力，建议在 zoo.cfg 中配置自动清理策略：autopurge.snapRetainCount（保留最近 N 个快照）与 autopurge.purgeInterval（清理间隔，单位小时）。
• 审计日志：如需追踪敏感操作，可在 conf/logback.xml 中启用审计日志，输出至如 zookeeper_audit.log，便于安全与合规分析。

五 常见故障与修复对照表