Ubuntu上Zookeeper日志管理技巧

在Ubuntu上管理Zookeeper日志可以通过以下几种技巧和步骤进行：

日志配置

1. 配置文件：

   • zoo.cfg：在配置文件中，通过dataDir和dataLogDir配置项分别指定快照日志和事务日志的存储路径。建议将事务日志和快照日志分开存储，以提高系统性能。
   • log4j.properties：在conf目录下的log4j.properties文件中配置zookeeper.log.dir，指定log4j日志文件的存储路径。

2. 日志级别和输出：

   • 可以通过修改zkEnv.sh中的ZOO_LOG4J_PROP属性来调整日志级别和输出格式。

日志清理

1. 自动清理：

   • 从Zookeeper 3.4.0开始，支持通过zoo.cfg中的autopurge.snapRetainCount和autopurge.purgeInterval参数实现日志文件的定时清理。例如，设置autopurge.purgeInterval为24小时，autopurge.snapRetainCount为3，表示每24小时清理一次，保留最近的3个快照文件。

2. 手动清理：

   • 可以手动运行zkCleanup.sh脚本来清理旧的日志和快照文件。例如：./bin/zkCleanup.sh -n 3表示保留最近的3个快照文件及其对应的日志文件。

日志轮换

1. 日志轮转工具：
   • 使用Logrotate进行日志轮转，防止单个日志文件过大。可以配置Logrotate定期轮换、压缩和删除旧的日志文件。
   • 示例配置：

     /var/log/zookeeper/*.log {
         daily
         rotate 7
         missingok
         notifempty
         compress
         delaycompress
         create 0640 root root
         sharedscripts
         postrotate
             /bin/kill -HUP `cat /var/run/zookeeper.pid 2>/dev/null`
         endscript
     }
     

日志分析

1. 查看日志文件：

   • Zookeeper的日志文件通常存储在/var/log/zookeeper目录下，可以使用cat命令查看zookeeper.out文件。

2. 使用工具：

   • Zookeeper自带工具：如ZooKeeper Assistant、ZooInspector和PrettyZoo，用于日志查看和分析。
   • 第三方工具：如Zabbix、Prometheus，用于集成监控和告警。

3. 日志分析步骤：

   • 确定问题类型：通过日志级别快速定位问题类型。
   • 分析日志内容：查看具体的日志信息，如时间、线程名、日志级别、消息等。
   • 结合配置文件：根据日志中的信息，结合Zookeeper的配置文件进行更深入的分析。

通过以上方法，可以有效地管理和分析Zookeeper在Ubuntu系统中的日志，帮助进行故障排查和性能优化。