Hadoop日志在Ubuntu如何查看

在Ubuntu上查看Hadoop日志可通过以下方式：

1. 定位日志文件

   • 默认路径：/var/log/hadoop-*（如/var/log/hadoop-hdfs、/var/log/hadoop-yarn）
   • 或通过$HADOOP_HOME/logs目录查看（需先确认HADOOP_HOME环境变量）。

2. 命令行查看

   • 实时查看：tail -f <日志文件路径>（如tail -f /var/log/hadoop-hdfs/hadoop-namenode-*.log）。
   • 查看前N行：head -n 100 <日志文件路径>。
   • 搜索关键词：grep "ERROR" <日志文件路径>。

3. 图形化工具查看

   • 使用文本编辑器（如nano、vim）直接打开日志文件。
   • 通过Hadoop Web界面（如ResourceManager/NameNode的HTTP接口）查看。

4. 日志分析工具

   • 基础分析：用awk统计IP请求量，sort/uniq去重统计。
   • 高级分析：使用ELK Stack（Elasticsearch+Logstash+Kibana）进行可视化。

注意：若日志路径非默认，需通过core-site.xml、hdfs-site.xml等配置文件确认。