Zookeeper监控手段有哪些

Zookeeper监控手段全览

一 内置四字命令

• 通过向 2181 端口发送四字命令进行快速探测与诊断，常用命令与用途如下：
  • ruok：健康检查，返回 imok 表示进程存活。
  • stat / srvr：查看服务器状态与角色（leader/follower）、连接数、延迟等；srvr更简洁。
  • mntr：输出机器可读的监控指标（如 zk_avg_latency、zk_num_alive_connections、zk_znode_count），适合做时序采集。
  • cons：列出当前所有客户端连接与会话详情，定位异常来源。
  • wchc / wchp：按 session 或路径列出 Watch，排查 Watch 泄漏（大数据量时慎用，可能阻塞）。
  • envi / conf / dump / dirs：查看环境变量、配置、会话/临时节点快照、日志与快照目录磁盘使用。
• 安全与启用：在 zoo.cfg 配置白名单，例如：
  • 4lw.commands.whitelist=stat,ruok,mntr,cons,srvr,envi,wchc,wchp
• 典型用法示例：
  • echo mntr | nc localhost 2181
  • echo ruok | nc localhost 2181
  • echo srvr | nc localhost 2181
  • echo cons | nc localhost 2181
  • 注意：wchc/wchp 仅在排障时临时使用。

二 JMX 与可视化工具

• JMX 指标暴露：Zookeeper 暴露丰富的 JMX MBean，可用 JConsole / VisualVM 直连查看，或通过 JMX Exporter 转为 Prometheus 指标。
• 常用指标举例：
  • 延迟类：zk_avg_latency、zk_max_latency
  • 连接与会话：zk_num_alive_connections、zk_outstanding_requests
  • 数据与元数据：zk_znode_count、zk_watch_count
  • 资源与句柄：zk_open_file_descriptor_count、zk_max_file_descriptor_count
• 集成方案：
  • Prometheus + Grafana：以 JMX Exporter/专用 Exporter 采集，Grafana 展示与告警。
  • Zabbix / Datadog：通过 JMX 或插件方式接入，适合企业级统一监控。

三 日志与系统层面监控

• 日志监控：
  • 日志位置与级别：由 log4j.properties 控制，常见路径为 logs/zookeeper-server-*.log；关注 WARN/ERROR 如连接异常、连接数过多等。
  • 集中化：使用 Fluentd / Logstash 收集，配合 Elasticsearch + Kibana 检索与可视化。
• 系统与容器：
  • Linux 基础：使用 ps、netstat 检查进程与 2181 端口监听；结合 docker stats / logs / exec 在容器环境排查。
  • 资源与健康：监控 CPU、内存、磁盘 IO、网络 等系统资源，防止资源瓶颈影响一致性性能。

四 客户端与编程式监控

• zkCli.sh：使用 ls /path -w、get /path -w 对节点进行监听，观察子节点与数据变化，适合临时诊断与验证。
• Java API：通过 Watcher 注册节点/子节点变更事件，编程实现业务级监控与联动告警。

五 关键监控指标与告警建议

• 集群角色与健康：
  • 角色稳定（leader/follower 正常）、法定人数可达成；四字命令 ruok 与 mntr 的 zk_server_state 正常。
• 延迟与吞吐：
  • zk_avg_latency / zk_max_latency 突增、zk_packets_received / zk_packets_sent 异常波动，可能预示网络或后端压力。
• 连接与会话：
  • zk_num_alive_connections 接近或超过 maxClientCnxns、出现大量异常断开，需排查客户端泄漏或恶意连接。
• 请求堆积与稳定性：
  • zk_outstanding_requests 持续增长，可能后端处理能力不足或 GC/磁盘问题。
• 数据与元数据规模：
  • zk_znode_count、zk_watch_count 持续攀升，关注 Watch 泄漏与节点膨胀。
• 资源与句柄：
  • open_file_descriptor_count 接近 max_file_descriptor_count，及时扩容或优化文件句柄使用。
• 存储与日志：
  • 事务日志与快照目录（由 dirs 可见）磁盘空间不足会导致写入失败甚至集群不可用，需设置监控与留痕告警。