以下是CentOS环境下HBase集群的常用监控工具及方法:
一、HBase自带工具
- HBase Web UI:通过浏览器访问
http://<master-ip>:16010
,查看集群状态、RegionServer列表、表信息等。
- HBase Shell:使用命令行工具,执行
status 'simple'
、list_regions
等命令监控集群和RegionServer状态。
- JMX监控:启用JMX(配置
hbase-site.xml
)后,通过jconsole
或VisualVM
连接JMX端口(如16020)查看指标。
二、Hadoop生态工具
- HDFS Web UI:监控HDFS存储使用情况,路径为
http://<namenode-ip>:9870
。
- YARN ResourceManager Web UI:查看RegionServer资源使用及任务分配,路径为
http://<resourcemanager-ip>:8088
。
三、第三方监控工具
- Prometheus + Grafana:
- Prometheus通过HBase JMX Exporter采集指标(如RPC延迟、JVM内存、磁盘IO等),Grafana用于可视化展示及告警配置。
- Ganglia:分布式监控系统,支持CPU、内存、网络等系统级指标及HBase相关指标。
- Ambari:适用于Hadoop集群管理,集成HBase监控功能,提供统一界面。
- Zabbix/Nagios:企业级监控工具,支持自定义告警规则,监控服务器及HBase服务状态。
四、关键监控指标
- 系统资源:CPU使用率、内存使用率、磁盘IO吞吐量、网络带宽。
- HBase核心指标:RegionServer负载、BlockCache命中率、RPC延迟、读写吞吐量、Compaction队列长度。
- 服务状态:Master/RegionServer进程存活、主备切换状态、Region分布均衡性。
可根据需求选择单一或组合工具,例如轻量级场景用HBase自带工具,大规模集群推荐Prometheus+Grafana+Ganglia组合。