Linux环境下Hadoop性能监控方法
Hadoop自带一系列命令行工具，可直接获取集群状态、资源使用及作业进展等性能信息，适合快速排查问题：
hdfs dfsadmin -report：查看HDFS集群状态，包括DataNode数量、存储容量、剩余空间、块分布等信息，判断数据节点是否正常。yarn node -list：列出ResourceManager管理的所有NodeManager节点及其状态（如RUNNING、DEAD），确认节点是否在线。yarn application -list：查看当前集群中正在运行的YARN应用程序（如MapReduce、Spark作业），包括应用ID、名称、用户、队列、状态（RUNNING/FINISHED/FAILED）及资源使用情况（内存、CPU）。jps：查看Hadoop相关进程（如NameNode、DataNode、ResourceManager、NodeManager）是否正常运行，若进程缺失则需及时排查启动问题。Hadoop提供可视化Web界面，直观展示集群整体状态及详细指标：
第三方工具提供更全面的集群监控、可视化及告警功能，适合大规模集群：
JMX（Java Management Extensions）是Java应用的标准监控接口，Hadoop的YARN、HDFS等组件均支持JMX监控：
yarn-site.xml、hdfs-site.xml），添加JMX相关配置（如yarn.nodemanager.jmx-port=9999），开启远程访问权限（需设置认证，如用户名/密码或SSL证书）。Hadoop的日志文件记录了组件运行的详细信息，是排查性能问题的关键：
$HADOOP_HOME/logs目录下，主要包括NameNode（namenode.log）、DataNode（datanode.log）、ResourceManager（yarn-resourcemanager.log）、NodeManager（yarn-nodemanager.log）等日志文件。tail -f log文件名实时追踪日志输出（如查看NameNode的RPC请求延迟）；使用grep "ERROR" log文件名搜索错误关键字（如DataNode连接失败、任务超报错），快速定位故障原因。通过编写脚本定期采集系统资源及Hadoop指标，实现自动化监控与告警：
top、free、df）采集系统资源（CPU、内存、磁盘），调用Hadoop命令（hdfs dfsadmin -report、yarn application -list）采集Hadoop指标，将结果写入日志文件或发送到监控系统（如Prometheus）。