CentOS HDFS日志管理配置

CentOS HDFS日志管理配置主要包括日志级别设置、收集、轮转、归档及查看等方面，具体如下：

• 日志级别配置：通过修改log4j.properties文件（路径：$HADOOP_HOME/etc/hadoop/），设置log4j.rootLogger参数为所需级别（如DEBUG、INFO等），还可针对特定组件（如NameNode、DataNode）单独配置日志级别。修改后需重启Hadoop服务生效。
• 日志收集：HDFS默认通过Log4j框架收集日志，配置参数包括hadoop.log.dir（日志存储目录，默认/var/log/hadoop/hdfs/）、hadoop.log.file（日志文件名）等，可在hdfs-site.xml中调整。
• 日志轮转：使用logrotate工具自动轮转日志，配置文件位于/etc/logrotate.d/hdfs，示例配置为每天轮转、保留7个备份并压缩旧日志。
• 日志归档：可设置日志文件超过指定大小（如100MB）时自动压缩归档，归档文件名包含时间戳，保留最近100个压缩文件。
• 日志查看：通过tail -f命令实时查看日志，或通过HDFS Web UI（默认端口50070）查看集群日志。

注意：修改配置前建议备份原文件，部分操作需根据Hadoop版本调整路径或参数。