ubuntu kafka配置怎样备份恢复

一、配置文件备份

Kafka配置文件默认位于/etc/kafka/或/opt/kafka/config/，可通过以下命令备份：

# 备份配置文件
tar -czvf kafka-config-backup.tar.gz /etc/kafka/
# 恢复配置文件
tar -xzvf kafka-config-backup.tar.gz -C /

二、数据备份与恢复

1. 全量备份与恢复

• 使用kafka-dump工具
  • 备份：

    sudo apt-get install kafka-dump
    kafka-dump --bootstrap-server localhost:9092 --output-dir /path/to/backup
    

  • 恢复：

    kafka-console-producer.sh --broker-list localhost:9092 --topic RESTORE_TOPIC --new-producer < /path/to/backup/backup_file
    

2. 增量备份与恢复

• 使用kafka-backup+MirrorMaker
  • 安装工具：

    sudo apt-get install confluent-kafka-backup
    

  • 备份：

    mkdir -p /path/to/backup
    kafka-backup --bootstrap-server localhost:9092 --backup-dir /path/to/backup
    

  • 恢复：
    • 创建MirrorMaker配置文件（如mirror-maker.properties），指定源和目标集群地址及主题。
    • 执行恢复：

      kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config mirror-maker.properties --producer.config mirror-maker.properties --whitelist your_topic_name
      

三、注意事项

• 备份前建议关闭Kafka服务，避免数据不一致。
• 可通过cron定时任务自动化备份，例如每天凌晨执行脚本。
• 恢复后需检查Kafka服务状态：systemctl status kafka。