监控方案总览
在 Debian 上监控 HBase 集群，建议采用“内置界面 + Shell + 指标采集 + 日志集中”的组合方式：用 HBase Web UI 和 HBase Shell 做即时巡检，借助 JMX 将指标接入 Prometheus/Grafana 做时序与告警，并用 log4j 将日志接入 ELK/Splunk 做检索与可视化。HBase 的 Master Web UI 默认端口为 16010，可查看 RegionServer、Region 与请求延迟等关键状态；Shell 的 status/detail 能快速判断集群存活与负载；JMX 提供请求率、延迟、MemStore、GC 等丰富指标；日志则用于故障定位与审计。
快速巡检步骤
- 使用 HBase Shell 查看集群存活与节点状态：
- 快速状态：echo “status” | hbase shell
- 详细状态：echo “status ‘detailed’” | hbase shell
- 打开 Master Web UI：在浏览器访问 http://:16010，检查 Cluster 概览、RegionServers 列表、请求数/延迟、MemStore、GC 等；点进具体 RegionServer 可见更细的负载与 Region 分布。
- 查看日志定位异常：在 HBase 安装目录的 logs/ 下，实时跟踪关键日志（如 hbase-master-.log、hbase-regionserver-.log），观察 ERROR/WARN 与 GC 信息。
指标与日志监控
- 关键指标与采集方式
- 组件存活与角色：HMaster active/standby、在线 RegionServer 数量；采集方式：HBase Shell status、Master UI、ZooKeeper 节点 /hbase/master。
- 请求与延迟：读/写/扫描 QPS、平均/分位延迟；采集方式：HBase JMX（Prometheus JMX Exporter）。
- 内存与存储：MemStore 使用、BlockCache 命中、HFile 数量与大小、Compaction 队列；采集方式：JMX + UI。
- GC 与健康：JVM GC 次数/时间、Old/Young GC 占比；采集方式：JMX（配合 Grafana 面板观察趋势）。
- HDFS 依赖：HDFS 可用空间、坏块、DataNode 健康；采集方式：HDFS 工具（如 hdfs dfsadmin、fsck）与 HDFS 指标。
- 可用性：服务可达性（Master UI/RegionServer 端口连通）、ZooKeeper 会话状态；采集方式：黑盒探测 + JMX/ZK 节点。
- 日志管理与告警
- 使用 log4j 配置合理的日志级别（生产常用 INFO/WARN）、滚动策略（如按大小/时间切割、保留份数），避免磁盘被占满。
- 将日志集中到 ELK Stack（Elasticsearch/Logstash/Kibana） 或 Splunk，对 ERROR、长时间 GC、Region 移动/打散异常等设定告警规则。
告警规则示例
- HMaster 高可用异常：集群无 active Master 或 standby 长时间未接管（ZK 的 /hbase/master 为空或长时间不变更）。
- RegionServer 异常：dead region servers > 0 或 Last Contact 明显超时（如 > 10 秒）。
- 请求异常：读写 QPS 突降或 P95/P99 延迟 飙升超过阈值并持续数分钟。
- 存储与写入压力：MemStore 使用接近上限、Compaction 队列 持续积压、HFile 数量异常增长。
- GC 压力：Old GC 次数/时间持续走高，伴随请求抖动或超时。
- HDFS 风险：可用空间 低于阈值或出现 坏块，可能影响读取与恢复。
网络与端口配置
- 为监控与访问放行必要端口（示例以 ufw 为例，生产请按实际防火墙策略调整）：
- Master Web UI：16010/tcp
- Master RPC：16000/tcp
- RegionServer：16020/tcp、16030/tcp
- ZooKeeper：2181/tcp
- 确保监控服务器能访问上述端口，并在 Prometheus 中为目标主机配置正确的 JMX 抓取任务。