Hadoop在Linux中的日志管理如何操作

一、日志文件位置

• HDFS：/var/log/hadoop-hdfs/ 或 $HADOOP_HOME/logs/。
• YARN：/var/log/hadoop-yarn/ 或 $HADOOP_HOME/logs/yarn-*。
• MapReduce：$HADOOP_HOME/logs/userlogs/（作业日志）。

二、常用查看命令

• 实时查看：tail -f <日志文件路径>，如 tail -f hadoop-hdfs-namenode-*.log。
• 查看前N行：head -n 10 <日志文件路径>。
• 搜索关键词：grep "ERROR" <日志文件路径>。
• 提取特定字段：awk '{print $1, $2}' <日志文件路径>。

三、日志分析工具

• 命令行工具：sed（文本替换）、sort/uniq（排序去重）。
• 可视化工具：
  • ELK Stack：Elasticsearch存储日志，Logstash处理日志，Kibana可视化。
  • Grafana：结合Prometheus展示日志监控数据。

四、日志轮转与归档

• 使用logrotate：编辑 /etc/logrotate.d/hadoop 配置文件，设置按天轮转、压缩等策略，例如：

  /var/log/hadoop-hdfs/*.log {
      daily
      rotate 7
      compress
      missingok
  }
  ```。
  
  

五、日志级别调整

• 修改配置文件：编辑 $HADOOP_HOME/etc/hadoop/log4j.properties，修改 log4j.rootLogger 级别（如 DEBUG、ERROR）。
• 动态生效：部分场景无需重启服务，可通过环境变量临时调整（需配置支持）。

六、集群日志聚合

• 启用YARN日志聚合：在 yarn-site.xml 中配置 yarn.log-aggregation-enable=true，并指定聚合存储路径。
• 通过Web界面查看：访问ResourceManager的Web UI（默认端口8088）查看聚合日志。