Zookeeper在Debian上的监控与告警设置

Zookeeper在Debian上的监控与告警设置

一 监控采集方案选型

• 四字命令快速体检：使用 Zookeeper 的四字命令（如 stat、srvr、mntr、ruok、cons）通过 nc/telnet 直连 2181 端口，获取角色、延迟、连接数、会话等关键信息，适合轻量巡检与临时排障。示例：echo mntr | nc localhost 2181。生产建议以 mntr 为主，ruok 仅作存活探测。
• JMX 远程监控：开启 JMX 后用 JConsole/VisualVM/jmxtrans/jmxquery 采集 JVM 与 Zookeeper 指标（如 AvgLatency、MaxLatency、PacketsReceived、PacketsSent 等），适合深度观测与对接现有 JMX 体系。
• Prometheus 原生指标（Zookeeper ≥ 3.6.0）：在 zoo.cfg 启用 PrometheusMetricsProvider，暴露 7000/metrics，便于以标准时序方式抓取与告警。
• Exporter 方案（Zookeeper < 3.6.0 或异构环境）：部署 zookeeper_exporter（默认监听 9143 或自定义端口），将四字命令转换为 Prometheus 指标。
• 主机与服务监控兜底：使用 systemd 与 journalctl 监控进程存活与日志，配合 Telegraf 的 inputs.zookeeper 插件采集连接与状态，作为基础保底监控。

二 快速落地步骤

• 方案A Prometheus + Grafana（推荐，适配 3.6+）
  1. 启用原生指标（Zookeeper ≥ 3.6.0）：在 zoo.cfg 追加 metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider metricsProvider.httpPort=7000 metricsProvider.exportJvmInfo=true 重启后验证：curl localhost:7000/metrics。
  2. Prometheus 抓取：在 prometheus.yml 增加
     • job_name: ‘zookeeper’ static_configs:
       • targets: [‘zk1:7000’,‘zk2:7000’,‘zk3:7000’]
  3. Grafana：添加 Prometheus 数据源，导入 Zookeeper 官方或社区仪表盘（如 ID 10465），展示延迟、连接、请求、节点角色等。
• 方案B Exporter（Zookeeper < 3.6.0）
  1. 部署 zookeeper_exporter（示例）： ./zookeeper_exporter -listen :9143 -zk-hosts zk1:2181,zk2:2181,zk3:2181
  2. Prometheus 抓取：
     • job_name: ‘zookeeper_exporter’ static_configs:
       • targets: [‘exporter1:9143’,‘exporter2:9143’]
  3. Grafana 同上。
• 方案C Telegraf 直采 + 告警
  1. 安装与配置 /etc/telegraf/telegraf.conf： [[inputs.zookeeper]] servers = [“zk1:2181”,“zk2:2181”,“zk3:2181”] timeout = “5s” sudo systemctl restart telegraf
  2. 在 Telegraf 输出到 Prometheus 或 Alertmanager，由 Alertmanager 做分组、抑制与通知。

三 关键指标与建议阈值

四 告警规则示例 Prometheus

• 实例宕机
  • alert: ZooKeeperServerDown expr: up == 0 for: 1m labels: severity: critical annotations: summary: “Instance {{ $labels.instance }} ZooKeeper down” description: “抓取失败超过 1 分钟”
• 延迟过高
  • alert: ZKLatencyHigh expr: zk_avg_latency > on(instance) (avg by(instance)(zk_avg_latency) * 2) for: 2m labels: severity: warning annotations: summary: “Instance {{ $labels.instance }} latency high”
• 连接数过多
  • alert: ZKConnectionsTooMany expr: zk_num_alive_connections > 1000 for: 1m labels: severity: warning
• znode 过多
  • alert: ZKZnodeCountTooLarge expr: znode_count > 1000000 for: 5m labels: severity: warning
• 角色异常（单主期望）
  • alert: ZKNotLeader expr: server_role != “leader” for: 1m labels: severity: critical annotations: summary: “Instance {{ $labels.instance }} not leader” 说明：阈值可按业务与历史基线调整，必要时增加持续时间避免抖动。

五 快速健康检查与排障命令

• 四字命令体检：
  • echo mntr | nc localhost 2181（核心指标）
  • echo ruok | nc localhost 2181（存活探测）
  • echo stat | nc localhost 2181（角色与连接概览）
  • echo cons | nc localhost 2181（会话列表）
• 进程与日志：
  • sudo systemctl status zookeeper
  • sudo journalctl -u zookeeper -f（实时日志）
• JMX 快速连入：
  • 启动参数加入： -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=9999 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false
  • 使用 JConsole/VisualVM 连接 9999 端口查看指标。