CentOS上Zookeeper备份策略是什么

CentOS上Zookeeper备份策略

一 策略总览

• 备份对象与范围
  • 数据目录：由 zoo.cfg 的 dataDir 指定，常见为 /var/lib/zookeeper。
  • 配置文件：通常为 /etc/zookeeper/conf。
  • 事务日志目录：由 dataLogDir 指定（若启用独立事务日志）。
  • 运行日志：通常为 /var/log/zookeeper（用于审计与排障，恢复非必需）。
• 备份方式
  • 离线一致性备份：在单节点或维护窗口内对 dataDir（及可选的 dataLogDir）执行文件系统级快照（如 tar 打包），确保一致性。
  • 在线逻辑备份：通过 zkCli.sh 的 ls / /path 与 get /path 导出关键 znode 树，适合频繁小量变更与跨版本迁移（不保证跨大版本完全兼容）。
• 调度与保留
  • 建议按数据变更频率设定周期（如每日全量），并保留近 7–30 天；关键业务可加做 每周 全量 + 每日 增量/差异。
• 存储与传输
  • 本地盘 + 远程副本（NFS/对象存储/另一台服务器）双地三份；远程可用 SSH 管道直传。
• 校验与演练
  • 每次备份后做 大小/校验和 校验；定期做 恢复演练 验证可用性与流程有效性。
• 高可用前提
  • 集群本身具备多节点冗余；备份用于灾难恢复与误删回滚，不替代集群高可用。

二 实施步骤

• 1 确认关键路径
  • 数据目录：grep “dataDir” /etc/zookeeper/conf/zoo.cfg
  • 事务日志目录（若配置）：grep “dataLogDir” /etc/zookeeper/conf/zoo.cfg
• 2 离线一致性备份（停机窗口）
  • 停止服务：systemctl stop zookeeper
  • 打包数据：tar -czvf /backup/zookeeper_data_$(date +%F_%H%M%S).tar.gz /var/lib/zookeeper
  • 如启用独立事务日志：tar -czvf /backup/zookeeper_datalog_$(date +%F_%H%M%S).tar.gz
  • 备份配置与日志：tar -czvf /backup/zookeeper_conf_$(date +%F_%H%M%S).tar.gz /etc/zookeeper/conf；tar -czvf /backup/zookeeper_log_$(date +%F_%H%M%S).tar.gz /var/log/zookeeper
  • 启动服务：systemctl start zookeeper
• 3 远程备份（示例）
  • 通过 SSH 直传：tar -czvf - /var/lib/zookeeper | ssh user@remote_host “sudo tar -xzvf - -C /backup”
• 4 在线逻辑备份（不停机）
  • 连接并导出：./zkCli.sh -server host1:2181；在交互中递归 ls / /path 与 get /path 导出到本地文件/JSON（适合关键子树或配置数据）。

三 自动化与保留

• 备份脚本示例
  • 建议将“停止-备份-启动-校验-清理”封装为脚本，统一日志与命名规范；示例见下节“关键命令清单”。
• 定时任务
  • 每天 02:00 执行：0 2 * * * /usr/local/bin/backup_zookeeper.sh
• 保留策略
  • 本地保留 7–30 天；远程/对象存储保留 ≥30 天；按“日全量、周全量”分层管理，过期自动清理（find/脚本）。
• 校验与监控
  • 记录每次备份的 时间、大小、校验和 到日志；对失败告警并保留最近 N 次日志用于审计。

四 恢复流程

• 离线一致性恢复
  • 停止服务：systemctl stop zookeeper
  • 恢复数据：tar -xzvf /backup/zookeeper_data_YYYYMMDD_HHMMSS.tar.gz -C /；如启用独立事务日志：tar -xzvf /backup/zookeeper_datalog_YYYYMMDD_HHMMSS.tar.gz -C /
  • 修复权限：chown -R zookeeper:zookeeper /var/lib/zookeeper（及 dataLogDir）
  • 启动服务：systemctl start zookeeper
• 配置与日志恢复
  • 配置文件：tar -xzvf /backup/zookeeper_conf_YYYYMMDD_HHMMSS.tar.gz -C /
  • 运行日志：tar -xzvf /backup/zookeeper_log_YYYYMMDD_HHMMSS.tar.gz -C /
• 在线逻辑备份恢复
  • 将导出的 znode 结构/数据按业务需要 create / set 回写到目标集群（注意版本兼容与 ACL/权限）。

五 关键命令清单

• 定位数据目录：grep “dataDir” /etc/zookeeper/conf/zoo.cfg
• 离线备份数据：tar -czvf /backup/zookeeper_data_$(date +%F_%H%M%S).tar.gz /var/lib/zookeeper
• 远程备份：tar -czvf - /var/lib/zookeeper | ssh user@remote_host “sudo tar -xzvf - -C /backup”
• 定时任务：0 2 * * * /usr/local/bin/backup_zookeeper.sh
• 权限修复：chown -R zookeeper:zookeeper /var/lib/zookeeper
• 恢复数据：tar -xzvf /backup/zookeeper_data_YYYYMMDD_HHMMSS.tar.gz -C /
• 在线导出：./zkCli.sh -server host1:2181；在交互中 ls / /path 与 get /path 导出关键数据。