在Ubuntu下管理Hadoop日志,可从查看、分析、清理等方面入手,具体方法如下:
tail -f实时查看日志,如tail -f $HADOOP_HOME/logs/hadoop-*-namenode-*.log;用grep搜索特定内容,如grep "ERROR" $HADOOP_HOME/logs/*.log。http://<主机名>:8088)查看作业日志。awk提取特定字段,sort/uniq去重统计,如awk '{print $1}' logfile.log | sort | uniq -c。log4j.properties中设置log4j.appender.RollingFile.MaxFileSize和log4j.appender.RollingFile.MaxBackupIndex控制日志大小和保留数量。cron任务定期删除过期日志,如hadoop fs -rm -r /path/to/old/logs。