Hadoop 日志管理在 Ubuntu 上如何进行

Hadoop日志管理在Ubuntu上的操作如下：

1. 查看日志路径

   • 默认路径：$HADOOP_HOME/logs（如/usr/local/hadoop/logs）。
   • 自定义路径：需在hadoop-env.sh中设置HADOOP_LOG_DIR，或在log4j.properties中配置具体组件日志路径。

2. 查看日志内容

   • 实时查看：tail -f hadoop-<组件>-<主机名>.log（如hadoop-hdfs-namenode-hadoop01.log）。
   • 搜索特定信息：grep "错误关键词" hadoop-<组件>.log。

3. 配置日志级别

   • 编辑log4j.properties文件（位于$HADOOP_HOME/etc/hadoop），修改log4j.rootLogger或特定包的日志级别（如DEBUG、ERROR）。
   • 保存后重启Hadoop服务生效：$HADOOP_HOME/sbin/stop-all.sh && $HADOOP_HOME/sbin/start-all.sh。

4. 日志归档与清理

   • 使用Hadoop Archive工具归档小文件：hadoop archive -archiveName test.har -p /input /outputdir。
   • 通过设置日志保留时间（如yarn-site.xml中配置yarn.log-aggregation.retain-seconds）自动清理旧日志。

5. 集中管理与分析

   • 配置日志聚合（YARN）：在yarn-site.xml中启用yarn.log-aggregation-enable=true，并指定聚合服务器。
   • 使用ELK Stack（Elasticsearch+Logstash+Kibana）或Splunk等工具集中分析日志。

参考来源：