Zookeeper的日志管理怎么做

Zookeeper日志管理实操指南

一 日志类型与目录规划

• 区分两类核心数据：
  • 事务日志（tx log）：记录每一次写事务，直接影响写吞吐与恢复点；
  • 快照（snapshot）：周期性将内存数据库序列化到磁盘。
• 关键配置与作用：
  • dataDir：存放快照；
  • dataLogDir：强烈建议单独指定，用于存放事务日志，避免与快照争抢IO；
  • preAllocSize：每次预分配的事务日志文件大小，默认64MB；
  • snapCount：触发快照前写入的事务数，默认100000，并有“过半随机”策略避免多节点同时快照。
• 文件命名与定位：
  • 事务日志：如 log.100000001，后缀为ZXID；
  • 快照：如 snapshot.ZXID；
  • 运行期快照与事务日志通常在 dataDir/version-2 下（若未拆分目录，事务日志也会落在 dataDir）。
• 运维要点：将 dataLogDir 与 dataDir 分别挂载到不同磁盘/LV，可显著提升写性能与恢复速度。

二 运行日志与系统日志配置

• 运行日志（Zookeeper内部日志，如请求处理、会话等）：
  • 基于 log4j/log4j2 配置，常见做法是在 log4j.properties 中设置：
    • 日志级别：INFO/WARN/DEBUG；
    • 输出：控制台或滚动文件（如 RollingFile/DailyRollingFileAppender）；
    • 路径：通过 zookeeper.root.logger 与 zookeeper.log.dir 指定；
    • 示例：
      • zookeeper.root.logger=INFO, ROLLINGFILE
      • zookeeper.log.dir=/var/log/zookeeper
      • zookeeper.log.file=zookeeper.log
      • log4j.appender.ROLLINGFILE=org.apache.log4j.DailyRollingFileAppender
      • log4j.appender.ROLLINGFILE.File=/var/log/zookeeper/zookeeper.log
      • log4j.appender.ROLLINGFILE.DatePattern='.'yyyy-MM-dd
  • 运行日志常见落地路径：/var/log/zookeeper/zookeeper.out 或按 log4j 配置输出。
• 系统日志（服务启动/停止/崩溃等）：
  • 若以 systemd 管理，可用 journalctl -u zookeeper 查看与检索。

三 日志轮转与保留策略

• 运行日志轮转：
  • 使用 log4j 的滚动策略（按天/按大小）管理 zookeeper.log；
  • 在 systemd 场景可配合 journald 的日志轮转；
  • 亦可用 logrotate 对运行日志做二次保障（按日/按大小切割与压缩）。
• 事务日志与快照的保留：
  • 自动清理（推荐）：在 zoo.cfg 中配置
    • autopurge.snapRetainCount：保留最近 N 个快照及其对应事务日志，默认3；
    • autopurge.purgeInterval：清理间隔，单位小时，默认0（关闭）。
    • 示例：保留最近 3 个版本，每 24 小时清理一次
      • autopurge.snapRetainCount=3
      • autopurge.purgeInterval=24
  • 手动清理：使用 zkCleanup.sh
    • 示例：保留最近 3 个版本
      • ./bin/zkCleanup.sh -n 3
    • 建议将清理任务在低峰期执行，避免影响性能。

四 日志查看与解析

• 运行日志：直接查看 /var/log/zookeeper/zookeeper.out 或 log4j 配置的输出文件；
• 事务日志解析：使用 LogFormatter
  • java -cp .:slf4j-api-1.7.25.jar:./zookeeper-3.4.14.jar org.apache.zookeeper.server.LogFormatter /var/lib/zookeeper/version-2/log.*
• 快照解析：使用 SnapshotFormatter
  • java -cp /usr/local/bin/zookeeper/zookeeper/lib/slf4j-api-1.7.25.jar:/usr/local/bin/zookeeper/zookeeper/lib/zookeeper-3.4.14.jar org.apache.zookeeper.server.SnapshotFormatter ./version-2/snapshot.10000000b > snapshot.txt
• 远程集中与可视化：将运行日志通过 Logstash 发送至 Elasticsearch，用 Kibana 展示与告警。

五 生产实践清单

• 目录与磁盘：将 dataLogDir 与 dataDir 分离并挂载到不同磁盘；为日志目录设置合理的 权限与属主（如 zookeeper:zookeeper）。
• 保留策略：开启自动清理，保留至少 3–7 个历史版本（业务允许可适当增大）；清理频率按磁盘容量与写入强度设置（如 24–72 小时）。
• 轮转与落盘：运行日志使用 log4j 滚动；必要时叠加 logrotate；确保日志盘与数据盘 IOPS/吞吐充足。
• 监控与告警：对 磁盘使用率、日志增长速率、GC/延迟 建立监控与阈值告警；定期抽样解析事务日志与快照验证可用性。
• 变更窗口：清理、轮转、参数调整尽量在 低峰期执行，变更前做好 备份与回滚预案。