在CentOS上管理HDFS（Hadoop Distributed File System）的日志涉及多个方面，包括日志的收集、存储、轮转、分析和安全等。以下是一些关键的步骤和策略：
1. 日志收集
- Log4j配置：HDFS的日志收集主要通过Log4j日志框架实现。可以在Hadoop的配置文件（如hdfs-site.xml）中进行相关配置，以启用或禁用某些日志级别、输出位置等。常见配置参数包括
hadoop.root.logger、hadoop.log.dir、hadoop.log.file和hadoop.log.level。
2. 日志存储
- 日志文件路径：HDFS相关日志的默认存储路径为“/var/log/Bigdata/hdfs/角色名”。例如，NameNode的运行日志位于“/var/log/Bigdata/hdfs/nn”，审计日志位于“/var/log/Bigdata/audit/hdfs/nn”。
- 日志轮转：使用logrotate进行日志轮转管理，以防止日志文件过大。可以创建一个日志轮换配置文件，并添加到/etc/logrotate.d/目录中。
- 日志归档：当日志文件大小超过一定阈值时，会自动压缩归档。归档文件名规则通常遵循原有日志名-yyyy-mm-dd_hh-mm-ss.[编号].log.zip的格式，最多保留最近的若干个压缩文件。
3. 日志分析
- 日志分析工具：可以使用ELK Stack（Elasticsearch、Logstash、Kibana）或Apache Solr进行日志数据的实时分析和可视化。
- 日志分析步骤：包括准备日志收集工具、将日志数据存储到HDFS、编写和分析日志数据的代码、以及查看分析结果。
4. 日志监控与告警
- 监控工具：可以使用Ganglia、Prometheus、Hadoop自带的工具等来监控HDFS的运行状态，并结合日志分析进行故障排查和性能优化。
- 日志监控与告警：设置日志监控规则和告警机制，对异常事件进行实时告警，快速响应系统问题。
5. 审计日志
- 启用审计日志：通过在log4j.properties文件中配置auditlog相关属性来启用审计日志功能。审计日志记录了用户对HDFS的所有操作，包括操作成功与否、用户名称、客户机地址、操作命令、操作的目录等，有助于追踪误操作和进行指标监控。
6. 日志查看和管理
- 命令行查看：可以通过Hadoop命令行工具查看HDFS日志，例如查看NameNode的日志可以使用
tail -f /var/log/Bigdata/hdfs/nn/hadoop-hdfs-namenode-*.log命令。
- Web UI查看：通过HDFS Web UI可以查看NameNode和SecondaryNameNode的日志。
通过上述步骤和策略，可以有效地在CentOS系统中配置和管理HDFS日志，确保系统的稳定运行和安全性。