Ubuntu下Hadoop日志如何管理

在Ubuntu下管理Hadoop日志，可从查看、分析、清理等方面入手，具体方法如下：

• 查看日志
  • 命令行工具：使用tail -f实时查看日志，如tail -f $HADOOP_HOME/logs/hadoop-*-namenode-*.log；用grep搜索特定内容，如grep "ERROR" $HADOOP_HOME/logs/*.log。
  • Hadoop Web界面：通过访问ResourceManager或NameNode的Web界面（如http://<主机名>:8088）查看作业日志。
• 分析日志
  • 基础分析：用awk提取特定字段，sort/uniq去重统计，如awk '{print $1}' logfile.log | sort | uniq -c。
  • 工具分析：使用ELK Stack（Elasticsearch+Logstash+Kibana）或Splunk进行日志的集中管理、搜索和可视化。
• 清理日志
  • 配置日志轮转：在log4j.properties中设置log4j.appender.RollingFile.MaxFileSize和log4j.appender.RollingFile.MaxBackupIndex控制日志大小和保留数量。
  • 定时清理：通过cron任务定期删除过期日志，如hadoop fs -rm -r /path/to/old/logs。