centos hdfs如何监控与日志

日志管理

• 查看日志：可通过tail -f命令实时查看，如tail -f /var/log/hadoop-hdfs/namenode-<hostname>.log。也可利用Hadoop Web界面，如NameNode的http://<namenode-host>:9870查看。
• 日志轮转：使用logrotate工具，配置文件位于/etc/logrotate.d/hadoop，可设置轮转周期、保留数量等。
• 日志分析：借助ELK Stack（Elasticsearch、Logstash、Kibana）进行日志收集、分析和可视化。

集群监控

• 命令行工具：使用hdfs dfsadmin -report查看集群状态，hdfs fsck /检查文件系统健康状况。
• 第三方工具：如Prometheus + Grafana，通过配置prometheus.yml监控HDFS指标，并在Grafana中创建仪表盘展示。也可使用Ambari等工具，通过Web界面监控集群。