HDFS配置中日志级别怎么调整

在Hadoop分布式文件系统（HDFS）中调整日志级别可以通过修改配置文件来实现。以下是具体的步骤：

通过Cloudera Manager配置日志级别

1. 登录Cloudera Manager并进入相应的配置界面。
2. 导航到配置项：
   • 对于MapReduce作业的日志级别，进入Yarn的配置界面，在Gateway范围搜索mapred-site。
3. 修改配置文件： 在mapred-site.xml配置文件中增加如下配置：

   <property>
       <name>mapreduce.reduce.log.level</name>
       <value>DEBUG</value>
   </property>
   <property>
       <name>mapreduce.map.log.level</name>
       <value>DEBUG</value>
   </property>
   <property>
       <name>yarn.app.mapreduce.am.log.level</name>
       <value>DEBUG</value>
   </property>
   

   以上配置支持的日志级别有：OFF, FATAL, ERROR, WARN, INFO (默认), DEBUG, TRACE, ALL。

通过命令行调整日志级别

1. 临时调整： 在命令行中执行以下命令可以临时调整日志级别，关闭该shell客户端窗口后，日志会还原为默认值。

   export HADOOP_ROOT_LOGGER=DEBUG,console
   

   例如，调整为ERROR级别：

   export HADOOP_ROOT_LOGGER=ERROR,console
   

2. 永久调整： 在HDFS客户端环境变量配置文件（例如/opt/client/HDFS/component_env，其中/opt/client需要改为实际客户端路径）中增加以下配置：

   export HADOOP_ROOT_LOGGER=DEBUG,console
   

   执行以下命令使配置生效：

   source /opt/client/HDFS/component_env
   

   重新执行客户端命令。

通过HDFS界面操作调整日志级别

1. 登录Cloudera Manager并进入HDFS的配置界面。
2. 选择角色对应的日志菜单：
   • 选择所需修改的角色所对应的日志菜单。
   • 选择所需修改的日志级别。
3. 保存配置： 在弹出窗口中单击“确定”使配置生效。

注意事项

• 日志级别优先级：从高到低分别是FATAL, ERROR, WARN, INFO, DEBUG。程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。
• 动态生效：部分配置修改后即时生效，不需要重启服务。

通过以上方法，您可以根据需要调整HDFS的日志级别，以便更有效地进行问题定位和系统性能优化。