HDFS在Ubuntu上的监控方法
1. Hadoop自带监控工具
- Web UI界面：通过浏览器访问Hadoop组件的Web界面，直观查看集群状态。
- NameNode Web UI：默认地址为
http://<namenode-ip>:50070（Hadoop 2.x/3.x版本可能调整端口，如3.x为9870），可查看HDFS整体状态、文件系统信息、DataNode列表及健康状况。
- ResourceManager Web UI：默认地址为
http://<resourcemanager-ip>:8088，用于监控YARN集群资源使用情况（如CPU、内存）及作业执行状态。
这些界面提供了集群的实时概览，适合快速排查问题。
- 命令行工具：通过Hadoop提供的命令行指令获取详细信息或执行管理操作。
hdfs dfsadmin -report：查看HDFS集群的详细报告，包括总容量、已用容量、剩余容量、DataNode数量及状态（活跃/死亡）。hdfs dfs -ls /path：列出指定HDFS路径下的文件和目录。hdfs dfs -du -h /path：查看指定路径下文件/目录的大小（人类可读格式，如KB、MB）。yarn node -list：查看ResourceManager管理的NodeManager列表及状态（活跃/不活跃）。
这些命令适合自动化脚本集成或远程监控。
2. 第三方监控工具
- Apache Ambari：功能全面的Web-based管理工具，支持Hadoop集群的集中部署、监控和故障排除。通过Ambari Dashboard可实时查看HDFS的各项指标（如NameNode负载、DataNode磁盘使用率），并提供告警配置功能（如磁盘空间不足报警）。
- Ganglia + Grafana：Ganglia是轻量级的分布式监控系统，擅长收集集群的CPU、内存、磁盘、网络等基础指标；Grafana则用于数据可视化，可将Ganglia采集的指标制作成直观的仪表盘（如图表、告警面板），适合大型集群的长期监控。
- Prometheus + Grafana：Prometheus是开源的指标收集与告警系统，通过Hadoop Exporter（如HDFS Exporter）采集HDFS的性能指标（如NameNode RPC延迟、DataNode块同步状态）；Grafana负责将Prometheus中的数据可视化，支持自定义仪表盘和灵活的告警规则（如当NameNode内存使用率超过80%时触发邮件报警）。
- Zabbix：企业级开源监控解决方案，支持监控HDFS集群的硬件资源（服务器CPU、内存、磁盘）、Hadoop组件状态（NameNode、DataNode、ResourceManager）及网络流量。通过Zabbix的自动发现功能，可快速添加HDFS节点，并设置阈值告警（如DataNode宕机报警）。
3. 自定义监控脚本
可根据需求编写Shell、Python等脚本，定期采集HDFS指标并输出到日志文件或发送到监控系统（如Prometheus、邮件）。例如：
- 使用
hdfs dfsadmin -report命令获取DataNode状态，解析输出并记录到日志；
- 通过
hdfs dfs -du命令统计指定目录的大小，若超过阈值则发送邮件告警；
- 结合
cron定时任务，每5分钟执行一次脚本，实现自动化监控。
自定义脚本灵活性高，适合特定场景的定制化监控。