centos zookeeper故障排查思路

在CentOS上对Zookeeper进行故障排查可以按照以下步骤进行：

检查Zookeeper服务状态

• 使用命令 sudo systemctl status zookeeper 查看Zookeeper服务的当前状态，包括是否正在运行、启动时间、运行时间等。

查看Zookeeper日志

• Zookeeper的日志文件通常位于 /var/log/zookeeper/zookeeper.out，可以使用 cat /var/log/zookeeper/zookeeper.out 命令查看日志。
• 分析日志文件，确定问题类型，查看具体的日志信息，如时间、线程名、日志级别、消息等，以确定问题的具体原因。

检查配置文件

• 检查 zoo.cfg 文件，确保所有参数设置正确，如服务器地址、数据目录路径、客户端连接端口等。
• 确认 myid 文件是否正确配置，每个节点的 myid 文件值应与 zoo.cfg 中配置的 server.x 一致。

检查网络连接

• 使用 ping 或 telnet 命令测试节点间的网络连通性，确保Zookeeper集群中的所有节点能够互相通信。

检查防火墙设置

• 确保防火墙没有阻止Zookeeper的端口（默认为2181）。可以使用以下命令检查和修改防火墙设置：

  sudo firewall-cmd --list-all
  sudo firewall-cmd --zone public --add-port 2181/tcp --permanent
  sudo firewall-cmd --reload
  

检查资源使用情况

• 查看节点的CPU、内存和磁盘使用情况，确定是否存在资源不足的问题。

使用四字命令监控集群状态

• 使用Zookeeper提供的四字命令（如 stat、ruok、mntr 等）来监控集群状态和调试问题。

处理常见故障

• 节点宕机：检查节点宕机前是否有异常情况，确认服务器资源是否充足，检查节点的磁盘I/O。
• 网络问题：检查服务器之间的网络连接，确保Zookeeper节点能够互相通信。
• Leader频繁切换：检查Leader节点的性能和网络状态，查看日志中是否有Follower无法同步的情况。

解决端口占用问题

• 如果发现Zookeeper端口被占用，可以使用以下命令查看端口使用情况，并找到占用端口的进程，使用 kill 命令停止该进程：

  sudo netstat -tuln | grep 2181
  sudo ps -p PID -o pid,ppid,cmd,%mem,%cpus
  sudo kill PID
  

设置Zookeeper服务自动启动

• 编辑Zookeeper的配置文件，确保以下行没有被注释掉（即没有 # 符号）：

  server.x hostname:port:maxClientCnxns
  

• 保存配置文件并重启Zookeeper服务：

  sudo systemctl restart zookeeper
  

通过以上步骤，可以有效地进行Zookeeper在CentOS上的故障排查。如果问题依然存在，建议查阅Zookeeper的官方文档或寻求社区帮助。