Hadoop在Ubuntu上如何监控性能

在 Ubuntu 上监控 Hadoop 性能的可落地方案

一 监控体系总览

• 建议采用“内置 Web UI + 命令行巡检 + 指标采集可视化 + 日志告警”的组合：
  • 内置 Web UI：快速查看组件健康与作业状态（如 NameNode 50070、ResourceManager 8088）。
  • 命令行工具：日常巡检与临时排查（如 hdfs dfsadmin -report、yarn node -list -all、yarn application -list、mapred job -list）。
  • 指标采集与可视化：用 Prometheus + Grafana 或 Zabbix（JMX） 做长期趋势与告警。
  • 日志与系统层：分析 HADOOP_HOME/logs 并结合 Nagios/Ganglia 做节点可用性监控。

二 快速巡检与内置 Web UI

• Web UI 入口（默认端口，若已自定义以实际为准）：
  • HDFS NameNode：http://:50070
  • YARN ResourceManager：http://:8088
• 常用命令（在集群任一节点执行，按需在对应服务节点运行）：
  • 查看 HDFS 整体与 DataNode 概况：hdfs dfsadmin -report
  • 查看 YARN 节点与资源：yarn node -list -all
  • 查看运行中的 YARN 应用：yarn application -list
  • 查看 MapReduce 作业：mapred job -list
• 日志定位：组件日志位于 $HADOOP_HOME/logs，可用 tail -f 实时查看，或用 grep 检索异常关键字。

三 指标采集与可视化

• Prometheus + Grafana（推荐）
  • 部署 Prometheus 与 Grafana（Ubuntu 可用包管理器安装 Grafana，Prometheus 可下载官方发布包解压即用）。
  • 配置 Hadoop Metrics2：编辑 $HADOOP_HOME/etc/hadoop/hadoop-metrics2.properties，启用 PrometheusSink（示例：.sink.prometheus.class=org.apache.hadoop.metrics2.sink.prometheus.PrometheusSink），使各组件暴露 /metrics 端点供 Prometheus 抓取。
  • Grafana 添加 Prometheus 数据源并导入 Hadoop 相关 Dashboard，完成可视化与告警规则配置。
• Zabbix + JMX（适合已有 Zabbix 体系）
  • 在 Hadoop 环境变量中开启 JMX（示例：hadoop-env.sh 增加 HADOOP_JMX_OPTS，如 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=9999 -Djava.rmi.server.hostname=；生产环境请开启认证与 SSL）。
  • 部署 Zabbix Java Gateway，在 Zabbix 前端创建主机并关联 JMX 接口与模板，导入 Hadoop JMX 模板后完成监控与告警。

四 常用监控指标与告警阈值建议

• 建议重点关注的指标与阈值示例（按“指标—含义—阈值建议”组织）：
  • HDFS 容量与副本健康：Capacity Used %、Missing Blocks、Corrupt Blocks；阈值：容量使用率持续 >80% 告警，出现 Missing/Corrupt 立即处理。
  • NameNode 线程与 GC：NameNode RPC handler threads、GC 次数/停顿；阈值：处理线程长期打满或 Full GC 频繁需扩容或调优。
  • DataNode 健康：DataNode 存活数、磁盘使用率；阈值：存活数少于预期或单盘 >85% 告警。
  • YARN 资源与队列：Memory Used %、VCores Used %、Pending Containers、Queue Capacity；阈值：资源使用率 >80% 或 Pending 持续升高需扩容或重排队。
  • 作业性能：Map/Reduce 进度、失败/重试次数、Shuffle 耗时；阈值：失败率升高、Shuffle 耗时异常需定位数据倾斜/网络瓶颈。

五 快速落地步骤清单

• 明确工具栈：小规模或需要“开箱即用”选 Ambari；已有监控平台选 Zabbix（JMX）；追求灵活可视化与告警选 Prometheus + Grafana。
• 打通指标采集：
  • JMX 路线：在 hadoop-env.sh 配置 HADOOP_JMX_OPTS 并开放端口，部署 Zabbix Java Gateway，前端导入模板。
  • Metrics2/Prometheus 路线：编辑 hadoop-metrics2.properties 启用 PrometheusSink，部署 Prometheus 抓取 /metrics，在 Grafana 配置面板与告警。
• 建立巡检与告警基线：
  • 固化日报/周报：执行 hdfs dfsadmin -report、yarn node -list -all、yarn application -list 等命令，结合 Grafana 趋势图与 Zabbix 阈值告警。
  • 日志与事件：集中采集 $HADOOP_HOME/logs，对 ERROR/WARN 关键字设置告警。