Zookeeper故障排查在CentOS的技巧

在CentOS上进行Zookeeper故障排查可以按照以下步骤进行：

1. 检查Zookeeper服务状态： 使用命令 sudo systemctl status zookeeper 查看Zookeeper服务的当前状态，包括是否正在运行、启动时间、运行时间等。

2. 查看Zookeeper日志： Zookeeper的日志文件通常位于 /var/log/zookeeper/zookeeper.out，可以使用 cat /var/log/zookeeper/zookeeper.out 命令查看日志。分析日志文件，确定问题类型，查看具体的日志信息，如时间、线程名、日志级别、消息等，以确定问题的具体原因。

3. 检查配置文件： 检查 zoo.cfg 文件，确保所有参数设置正确，如服务器地址、数据目录路径、客户端连接端口等。确认 myid 文件是否正确配置，每个节点的 myid 文件值应与 zoo.cfg 中配置的 server.x 一致。

4. 检查网络连接： 使用 ping 或 telnet 命令测试节点间的网络连通性，确保Zookeeper集群中的所有节点能够互相通信。检查防火墙设置，确保Zookeeper的端口（默认为2181）未被阻止。

5. 检查资源使用情况： 查看节点的CPU、内存和磁盘使用情况，确定是否存在资源不足的问题。

6. 使用四字命令监控集群状态： 使用Zookeeper提供的四字命令（如 stat, ruok, mntr 等）来监控集群状态和调试问题。可以通过 telnet, nc 或 curl 访问这些命令。

7. 处理常见故障：

   • 节点宕机：检查节点宕机前是否有异常情况，确认服务器资源是否充足，检查节点的磁盘I/O。
   • 网络问题：检查服务器之间的网络连接，确保Zookeeper节点能够互相通信。
   • Leader频繁切换：检查Leader节点的性能和网络状态，查看日志中是否有Follower无法同步的情况。

8. 解决端口占用问题： 如果发现Zookeeper端口被占用，可以使用 netstat -tuln | grep 2181 命令查看端口使用情况，找到占用端口的进程，并使用 kill 命令停止该进程。

9. 设置Zookeeper服务自动启动： 编辑Zookeeper的配置文件，确保以下行没有被注释掉（即没有 # 符号）：

   server.x hostname:port:maxClientCnxns
   

   保存配置文件并重启Zookeeper服务：sudo systemctl restart zookeeper。

通过以上步骤，可以有效地进行Zookeeper在CentOS上的故障排查。如果问题依然存在，建议查看Zookeeper的官方文档或寻求社区帮助。