Zookeeper在Linux下的日志如何管理

Zookeeper 在 Linux 下的日志管理

一 日志类型与存放位置

• 运行日志（Log4j）：由 log4j 输出，常见为 zookeeper.out 或按配置的滚动日志文件。默认路径受启动脚本影响，常见为 $ZOOKEEPER_HOME/bin/zookeeper.out，也可通过环境变量或配置文件自定义到如 /var/log/zookeeper 或 /apps/logs/zookeeper。
• 事务日志：记录所有更新操作，用于崩溃恢复，建议与快照分离，配置项为 zoo.cfg 的 dataLogDir。
• 快照日志：内存数据树的定期序列化，位于 zoo.cfg 的 dataDir。
• 目录习惯：常见将运行日志放到 /var/log/zookeeper，数据与事务日志放到 /var/lib/zookeeper（实际以你的安装与配置为准）。

二 配置输出路径与滚动策略

• 指定日志目录与 Appender：在 $ZOOKEEPER_HOME/bin/zkEnv.sh 中设置
  • ZOO_LOG_DIR：日志输出目录（如 /var/log/zookeeper）
  • ZOO_LOG4J_PROP：日志类别与 Appender（如 INFO,ROLLINGFILE 或 INFO,DailyRollingFile）
• 配置 log4j：在 $ZOOKEEPER_HOME/conf/log4j.properties 中
  • 设置 zookeeper.root.logger 与 ZOO_LOG4J_PROP 一致
  • 指定 zookeeper.log.file（如 zookeeper.log）
  • 选择滚动策略：
    • 按大小滚动：使用 RollingFileAppender（配合 MaxFileSize、MaxBackupIndex）
    • 按天滚动：使用 DailyRollingFileAppender（按日期切分）
• 标准输出重定向：在 zkServer.sh 中将 _ZOO_DAEMON_OUT 指向 $ZOO_LOG_DIR/zookeeper.out，避免日志散落在启动目录。

三 日志轮转与系统级管理

• 应用内轮转：通过 log4j.properties 的 RollingFileAppender/DailyRollingFileAppender 完成按大小或按天的日志切分。
• 系统级轮转：使用 logrotate 管理运行日志（如 zookeeper.out 或 zookeeper.log）
  • 示例配置 /etc/logrotate.d/zookeeper：
    • /var/log/zookeeper/*.log { daily; missingok; rotate 7; compress; delaycompress; notifempty; create 0644 zookeeper zookeeper }
  • 注意：事务日志与快照目录（dataLogDir/dataDir）不建议用 logrotate 切割，避免破坏一致性；其保留策略由 Zookeeper 自清理完成（见下节）。

四 自动清理与手动维护

• 自动清理（推荐）：在 zoo.cfg 中开启
  • autopurge.snapRetainCount：保留最近 N 个快照与事务日志集合（默认 3）
  • autopurge.purgeInterval：清理间隔，单位 小时（默认 0 表示关闭，建议设置为 1 或更长）
• 手动清理：如未开启自动清理，可用官方脚本定期清理
  • 示例：bin/zkCleanup.sh -n 3（保留最近 3 个快照/事务日志集合）
• 风险提示：不要手动删除正在写入的事务日志或最新快照，清理前确认无写入/同步进程。

五 查看分析与集中化

• 本地查看：
  • 实时查看：tail -f /var/log/zookeeper/zookeeper.out 或对应的滚动日志文件
  • 历史检索：结合 grep/sed/awk 对日志进行分析
• 远程与集中：
  • 通过 JMX 监控运行信息与日志相关指标
  • 将日志发送到 Syslog/Logstash，接入 ELK（Elasticsearch, Logstash, Kibana）进行检索、可视化与告警