CentOS中HDFS的日志如何查看分析

CentOS中HDFS日志查看与分析

一 日志位置与类型

• 运行日志默认在：/var/log/Bigdata/hdfs/角色名/（如 nn、dn、zkfc、jn、router、httpfs），审计日志在：/var/log/Bigdata/audit/hdfs/角色名/。常见文件：
  • 运行日志：hadoop-<SSH_USER>-<process_name>-.log
  • 标准输出/错误：hadoop-<SSH_USER>-<process_name>-.out
  • GC日志：<process_name>-<SSH_USER>---gc.log
  • 审计日志：hdfs-audit-<process_name>.log、ranger-plugin-audit.log、SecurityAuth.audit
  • 其他运维日志：hdfs-recover-fsimage.log、hdfs-backup-fsimage.log、hdfs-switch-namenode.log、hadoop-<SSH_USER>-balancer-.log 等
• 若未使用厂商发行版或自定义安装，日志也可能在 $HADOOP_HOME/logs/ 下，命名类似：hadoop--namenode-.log。

二 快速查看与检索

• 实时查看与关键字过滤
  • 实时跟踪：tail -f /var/log/Bigdata/hdfs/nn/hadoop--namenode-.log
  • 错误与告警：tail -F hdfs.log | grep -E “ERROR|WARN”
  • 错误次数统计：awk ‘/ERROR/{print $1}’ hdfs.log | sort | uniq -c | sort -nr
• 审计日志聚焦关键操作
  • 查看文件访问/变更：grep -E “open|create|delete|rename” /var/log/Bigdata/audit/hdfs//hdfs-audit-.log
• 系统服务日志（若以systemd管理）
  • 查看NameNode：journalctl -u hadoop-namenode -f
• 辅助定位
  • 集群健康与块分布：hdfs dfsadmin -report
  • 文件系统一致性检查：hdfs fsck /

三 日志级别与动态调整

• 日志级别（优先级从高到低）：FATAL > ERROR > WARN > INFO > DEBUG。
• 动态调整（无需重启，立即生效）
  • 管理控制台方式：进入HDFS服务的“全部配置”→选择对应角色→“日志”菜单→设置日志级别→保存并确认生效。
• 配置文件方式（需重启）
  • 编辑：$HADOOP_HOME/etc/hadoop/log4j.properties
  • 示例：将HDFS相关日志提升到DEBUG
    • log4j.logger.org.apache.hadoop.hdfs=DEBUG
  • 使配置生效：$HADOOP_HOME/sbin/stop-dfs.sh && $HADOOP_HOME/sbin/start-dfs.sh
  • 验证：tail -f $HADOOP_HOME/logs/hadoop--namenode-.log | grep DEBUG。

四 日志轮转归档与清理

• 自动压缩归档
  • 默认当日志超过100MB自动压缩，命名规则：<原日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip
  • 最多保留最近100个压缩文件（可在管理界面调整保留个数）
• 系统级logrotate（可选）
  • 在 /etc/logrotate.d/hadoop 中配置轮转策略（如按日轮转、保留7天、压缩等），避免日志无限增长。

五 常见故障定位路径与可视化

• 常见故障定位路径
  • NameNode启动/元数据异常：查看 hdfs-recover-fsimage.log、hdfs-backup-fsimage.log、hdfs-service-check.log、hadoop--namenode-.log
  • 主备切换问题：查看 hdfs-switch-namenode.log、hdfs-haCheck.log
  • 块与磁盘问题：查看 datanode-disk-check.log、hdfs-availability-check.log、DataNode运行日志
  • GC与停顿：查看 <process_name>-<SSH_USER>---gc.log、<process_name>-jvmpause.log
  • 均衡与迁移：查看 hadoop-<SSH_USER>-balancer-.log、hdfs-period-check.log
  • 安全与授权：查看 SecurityAuth.audit、ranger-plugin-audit.log
• 可视化与集中分析
  • 集中式日志平台：ELK Stack（Elasticsearch + Logstash + Kibana） 或 Splunk，统一采集、检索、可视化与告警
  • 指标与可视化：Prometheus + Grafana 配合 Hadoop metrics 或 JMX Exporter 做容量与性能趋势分析。