CentOS下HBase资源监控技巧

监控目标与总体架构

• 在 CentOS 上，建议采用“内置观测 + JMX 指标 + 时序可视化告警 + 日志分析”的组合：用 HBase Master UI 与 HBase Shell 做日常巡检，开启 JMX 暴露指标，使用 Prometheus + Grafana 做时序可视化与告警，配合 Ganglia/Zabbix/Nagios 做主机与服务可用性监控，并用 ELK 做日志聚合与检索。这样既能快速定位问题，又能形成可回溯的监控体系。

快速巡检与内置观测

• HBase Master Web UI：访问 http://:16010/master-status，查看 Live/ Dead Master、RegionServers、负载与请求分布、关键 Metrics 概览。适合分钟级巡检与故障初判。
• HBase Shell：执行 status ‘simple’ 查看集群存活节点；用 describe ‘your_table’ 检查表与 列族 配置；结合 list_regions 观察 Region 分布是否均衡。
• Hadoop 生态联动：同时关注 HDFS NameNode/DataNode UI 与 YARN ResourceManager UI，从底层存储与计算资源视角交叉验证 HBase 性能瓶颈（如 HDFS 容量、I/O、YARN 容器资源）。

JMX 指标与可视化告警

• 开启 JMX：在 hbase-site.xml 中配置 hbase.master.jmx.port=16030、hbase.regionserver.jmx.port=16020，重启进程后通过 JConsole/VisualVM 直连，例如 service:jmx:rmi:///jndi/rmi://:16030/jmxrmi，实时查看 JVM、RPC、Region/Store 相关指标。
• Prometheus 采集：部署 JMX Exporter，在 prometheus.yml 中新增抓取目标（示例端口为 16020/16030），统一拉取 Master/RegionServer 指标；在 Grafana 中创建或导入 HBase 仪表盘，配置阈值告警（如 RPC 延迟、请求错误率、Region 分布倾斜）。
• 主机与服务监控：用 Ganglia/Zabbix/Nagios 覆盖 CPU、内存、磁盘 I/O、网络 与端口存活（如 16010/16030/16020），实现“进程存活 + 资源健康”的双保险。

关键指标与阈值建议

日志分析与常见故障排查

• 日志集中：用 Logstash 采集 HBase Master/RegionServer 日志到 Elasticsearch，通过 Kibana 建立索引与可视化，配置基于关键字的告警（如 RegionTooBusyException、OutOfMemoryError、Compaction 失败）。
• 快速定位路径：先查 Master UI 的 Dead/Unassigned Regions，再在 对应 RegionServer 日志 中检索 Region 名/表名；若 RPC 延迟 升高，联动 JMX/Grafana 查看 GC、请求排队、Store/BlockCache；若 写入抖动，重点核查 WAL、磁盘 I/O、MemStore flush 与 HDFS 健康。