CentOS中HBase日志管理方法

日志查看

• 实时查看：使用 tail -f $HBASE_HOME/logs/hbase-<用户名>-hbase-<主机名>.log 命令查看特定实例日志。
• 系统日志：通过 tail -f /var/log/messages 查看与HBase相关的系统级日志。

日志配置

• 路径设置：修改 hbase-env.sh 中的 HBASE_LOG_DIR 环境变量调整日志存储路径。
• 日志级别：通过设置 HBASE_LOGLEVEL 环境变量（如 export HBASE_LOGLEVEL=DEBUG）控制日志详细程度。

日志轮转

• 工具配置：利用 logrotate 工具管理轮转，配置文件为 /etc/logrotate.d/hbase，可设置按大小或时间轮转、保留备份数量等。
• 自动清理：通过设置 hbase.master.logcleaner.ttl 参数控制 WAL 日志在 .oldlogs 目录的保留时间，超时自动清理。

日志监控与分析

• 实时监控：使用 tail -f 或 logwatch 工具实时跟踪日志输出。
• 工具分析：
  • ELK Stack：通过 Elasticsearch 存储、Logstash 解析、Kibana 可视化日志数据。
  • 命令行工具：用 grep 搜索关键字、awk 提取字段，快速定位问题。

日志清理

• 自动清理：依赖 logrotate 或配置 hbase.master.logcleaner.ttl 定期删除过期日志。
• 手动清理：谨慎删除旧日志，建议先备份，可通过 hdfs dfs -rm 命令删除指定日志文件。