Linux中Hadoop的日志如何管理

Linux下Hadoop日志管理实操指南

一 日志位置与分类

• 系统服务日志：HDFS 的 NameNode/DataNode 与 YARN 的 ResourceManager/NodeManager 日志默认位于 $HADOOP_HOME/logs，常见命名如：hadoop--namenode-.log、yarn--resourcemanager-.log。这些日志用于定位集群组件故障与运行状态。
• 作业与容器日志：MapReduce/Spark on YARN 的作业日志分为两类：
  • 历史作业日志（JobHistory）：由 JobHistory Server 管理，目录由 mapreduce.jobhistory.done-dir 与 mapreduce.jobhistory.intermediate-done-dir 指定。
  • 容器日志（Container/AM/Task）：默认在节点本地 $HADOOP_HOME/logs/userlogs/ 下，按 application_/container_/ 分层，包含 stdout、stderr、syslog。
• Web 界面查看：可通过 HDFS NameNode Web UI（常见端口 50070） 与 YARN ResourceManager Web UI（常见端口 8088） 快速定位节点与任务日志入口。

二 查看与检索

• 本地实时查看：
  • 实时跟踪：tail -f $HADOOP_HOME/logs/yarn--resourcemanager-.log
  • 关键字检索：grep -n “ERROR” $HADOOP_HOME/logs/hadoop--namenode-.log
  • 大文件浏览：less $HADOOP_HOME/logs/hadoop--datanode-.log（支持 / 搜索、q 退出）
• 聚合与历史作业日志：
  • 拉取应用日志：yarn logs -applicationId application_1621607717899_0001
• 系统级服务日志（如使用 systemd 管理）：journalctl -u hadoop（按服务名查看），或限定时间/级别筛选。

三 配置与轮转

• 日志路径与输出：
  • 组件日志目录可通过环境变量设置，例如 YARN_LOG_DIR；也可在 log4j.properties 中配置 hadoop.log.dir、hadoop.log.file 等。
  • 示例（log4j.properties）：
    • 全局级别与输出：log4j.rootLogger=INFO, file
    • 文件输出：log4j.appender.file=org.apache.log4j.FileAppender，log4j.appender.file.File=/var/log/hadoop/hadoop.log
• 日志轮转（推荐优先使用 Log4j 内置滚动）：
  • Log4j RollingFileAppender 示例（按大小滚动）：
    • log4j.appender.RMSUMMARY=org.apache.log4j.RollingFileAppender
    • log4j.appender.RMSUMMARY.File=${hadoop.log.dir}/rmsummary.log
    • log4j.appender.RMSUMMARY.MaxFileSize=256MB，MaxBackupIndex=20
• 系统级轮转（logrotate，作为兜底策略）：
  • 新建 /etc/logrotate.d/hadoop：
    • /var/log/hadoop/*.log { daily; rotate 7; compress; missingok; notifempty; create 0640 hadoop hadoop }
• 生效与验证：
  • Log4j 配置调整后需重启对应组件（如 NameNode/ResourceManager）以生效；用 tail -f 观察新日志与滚动文件是否按策略生成。

四 清理归档与生命周期

• 自动化清理与压缩（示例脚本）：
  • 删除 7 天前 的 .log 文件：find $HADOOP_HOME/logs -type f -name ‘*.log’ -mtime +7 -exec rm {} ;
  • 压缩 7 天前 的 .log 文件：find $HADOOP_HOME/logs -type f -name ‘*.log’ -mtime +7 -exec gzip {} ;
• 日志聚集（YARN）：启用 日志聚集 将各节点的 Container 日志统一聚合到 HDFS，便于统一检索与留存；历史作业日志由 JobHistory 管理，建议配置合理的 done-dir 保留周期。
• 生命周期建议：按业务与合规要求设定“保留期限—归档—删除”策略，结合 压缩 与 访问权限控制，对敏感日志启用 加密存储 与 最小权限 访问。

五 集中化与可视化

• 采集与传输：使用 Flume/Logstash 采集日志并发送至 Elasticsearch 或 HDFS，实现海量日志的统一存储与检索。
• 检索与可视化：
  • ELK Stack（Elasticsearch + Logstash + Kibana）：全文检索、分析与仪表盘。
  • Grafana + Prometheus：与指标监控联动，构建日志与指标一体化观测。
• 安全与治理：对日志实施 加密、访问控制、审计 与 生命周期管理，避免敏感信息泄露与无限制增长。