Debian Hadoop 日志管理技巧

Debian Hadoop 日志管理实用技巧

一 日志位置与快速查看

• 服务日志：Hadoop 各守护进程（如 NameNode、DataNode、ResourceManager、NodeManager）默认写入 $HADOOP_HOME/logs/（常见为 /opt/hadoop/logs/ 或 /usr/local/hadoop/logs/），按组件与主机名区分文件。系统级服务可用 journalctl 查看，例如：journalctl -u hadoop-hdfs-namenode、journalctl -u hadoop-yarn-resourcemanager。
• 实时与检索：tail -f $HADOOP_HOME/logs/hadoop--namenode-.log；grep -i error $HADOOP_HOME/logs/hadoop--datanode-.log；less 分页查看。
• Web 界面：YARN 应用日志在 ResourceManager UI：http://:8088 的“Applications/Logs”；历史作业日志在 JobHistory Server：http://:19888。
• 命令行聚合：YARN 聚合日志用 yarn logs -applicationId ；HDFS 上聚合日志路径可用 hadoop fs -ls 浏览。

二 日志聚合与保留策略

• 启用聚合（yarn-site.xml）：
  • yarn.log-aggregation-enable：true
  • yarn.log-aggregation.retain-seconds：保留时长（秒），如 604800 表示 7 天
  • yarn.nodemanager.remote-app-log-dir：如 /tmp/logs
  • yarn.nodemanager.remote-app-log-dir-suffix：logs
  • yarn.log.server.url：如 http://:19888/jobhistory/logs/
• 使用要点：聚合关闭时，NodeManager 本地日志按各自保留策略清理；聚合开启后，应用完成后日志上传至 remote-app-log-dir 并按保留时间清理，便于统一查看与节省本地磁盘。
• 查看方式：聚合后优先用 yarn logs -applicationId 或 Web UI 直接查看；也可通过 hadoop fs 访问聚合目录。

三 日志轮转与系统日志联动

• logrotate 轮转 Hadoop 服务日志：为 $HADOOP_HOME/logs/*.log 配置轮转（按日/大小、保留份数、压缩、延迟压缩、postrotate 触发 HUP 重载），避免单文件过大与磁盘占满。
• systemd 服务：若以 systemd 管理 Hadoop 服务，配置 StandardOutput/StandardError 写入 journal，再用 journald 的 MaxRetentionSec、SystemMaxUse 等策略控制占用。
• 系统日志：守护进程启动脚本输出、系统级事件可写入 /var/log/syslog、/var/log/auth.log，用 journalctl 或 grep/less 检索。

四 日志级别动态调整与配置

• 运行时在线调整：通过 http://:50070/logLevel 临时调级（如将 org.apache.hadoop.hdfs.server.namenode 调为 DEBUG），便于定位问题；重启后失效。
• 持久化调整：编辑 $HADOOP_HOME/etc/hadoop/log4j.properties，例如：log4j.logger.org.apache.hadoop.hdfs.server.namenode=DEBUG,console；按需设置 rootLogger 与各组件 logger。
• 脚本层设置：在 $HADOOP_HOME/sbin/hadoop-daemon.sh 中导出变量，如：export HADOOP_ROOT_LOGGER=WARN,RFA；同步到各节点后重启生效。
• 级别含义：从低到高为 TRACE、DEBUG、INFO、WARN、ERROR、FATAL，生产建议默认 INFO/WARN，问题排查期再临时提升。

五 日志分析与清理

• 集中化与可视化：将聚合日志导入 ELK（Elasticsearch、Logstash、Kibana） 或 Solr，实现检索、可视化与告警；也可结合 Flume 做采集与传输。
• 归档与空间优化：对历史小文件可用 HAR（Hadoop Archive） 归档，降低 NameNode 内存压力，示例：hadoop archive -archiveName test.har -p /input /outputdir。
• 清理与监控：设置聚合保留期与本地轮转策略，定期核查 /var/log 与 $HADOOP_HOME/logs 磁盘使用，结合监控/告警在异常增长时及时处理。