Kafka 在 CentOS 上的数据迁移实操指南

一、常见迁移场景与工具选择

• 同版本存储层搬迁（同集群内磁盘扩容/目录变更）：停写→拷贝数据目录→修改 server.properties 的 log.dirs→逐台启动验证。适合快速迁移数据目录或扩容磁盘。
• 跨集群迁移/上云/容灾：使用 MirrorMaker 2（MM2） 或 Kafka Connect 做持续镜像，支持跨集群复制与消费者组偏移量同步，便于低停机切换。
• 节点下线或重均衡：使用 kafka-reassign-partitions.sh 生成并执行分区重分配计划，将副本从待下线节点迁走。
• 小数据量一次性迁移：使用 kafka-console-consumer + kafka-console-producer 进行 Topic 间或跨集群搬运（仅适合小规模或临时场景）。

二、同版本存储层搬迁步骤（同集群内）

• 准备与停写
  • 选择低峰时段，停止写入或切到备集群；在每个 Broker 上执行停止脚本：
    cd /opt/kafka/bin && ./kafka-server-stop.sh
• 迁移数据目录
  • 创建并授权新目录（示例：/new/data/dir 与 /new/logs/dir）：
    mkdir -p /new/data/dir /new/logs/dir
    chmod -R o+r+w /new/data/dir /new/logs/dir
  • 使用后台拷贝保留现场：
    nohup cp -r /old/data/dir/* /new/data/dir/ &
    nohup cp -r /old/logs/dir/* /new/logs/dir/ &
• 修改配置
  • 编辑 config/server.properties：更新 log.dirs=/new/data/dir（多盘可用逗号分隔）。
  • 若需迁移 Kafka 运行日志目录（安装目录下的 logs），在 bin/kafka-run-class.sh 或 bin/ 启动脚本中设置 LOG_DIR=/new/logs/dir（不同版本脚本名可能不同，以实际安装为准）。
• 启动与验证
  • 启动服务：
    ./kafka-server-start.sh -daemon …/config/server.properties
  • 校验：
    • 查看新目录是否增长、进程是否正常（如 tail -f /new/logs/dir/server.log）。
    • 用 kafka-topics.sh --describe 检查分区与副本状态；用 kafka-consumer-groups.sh 校验消费位点与积压。
  • 观察无误后再清理旧目录。

三、跨集群迁移与不停机切换（推荐 MM2）

• 准备
  • 部署目标集群（Kafka 2.4+ 建议用 KRaft；旧版可用 Zookeeper），确保网络、认证（SSL/SASL）、配额与序列化一致。
• 使用 MirrorMaker 2 镜像

  • 配置文件示例 mm2.properties：
    clusters = src, dst
    src.bootstrap.servers = PLAINTEXT://src-broker:9092
    dst.bootstrap.servers = PLAINTEXT://dst-broker:9092

    src->dst.enabled = true
    dst->src.enabled = false

    可选：同步消费者组偏移量

    src->dst.sync.group.offsets.enabled = true
    src->dst.sync.group.offsets.interval.seconds = 60

    topics = .*
    tasks.max = 8

  • 启动：
    bin/connect-mirror-maker.sh mm2.properties

• 切换与回滚
  • 分批将消费者切到目标集群，观察 Lag 与错误率；确认稳定后将生产者切换。
  • 保留源集群只读一段时间以便回滚；持续监控吞吐、延迟与异常。

四、节点下线与分区重分配

• 生成重分配计划
  • 创建 topics.json（示例迁移所有分区）：
    {“topics”: [{“topic”: “your_topic”}], “version”: 1}
  • 生成方案（示例将副本迁到 0,2）：
    kafka-reassign-partitions.sh --bootstrap-server broker:9092 \ –generate --topics-to-move-json-file topics.json --broker-list “0,2”
• 执行与验证
  • 执行：
    kafka-reassign-partitions.sh --bootstrap-server broker:9092 \ –execute --reassignment-json-file reassignment.json
  • 查看进度：
    kafka-reassign-partitions.sh --bootstrap-server broker:9092 \ –verify --reassignment-json-file reassignment.json
• 说明
  • 老版本 Kafka（如 0.10.x）使用 –zookeeper 参数；新版本优先使用 –bootstrap-server。

五、校验与注意事项

• 校验清单
  • 目录与权限：新目录存在且 Kafka 进程可写；配置文件中 log.dirs 与实际一致。
  • 集群健康：所有 Broker In Sync Replicas（ISR） 正常，无 Under-Replicated 分区。
  • 数据一致：对比关键 Topic 的 end offset/消息条数；抽样校验关键业务字段。
  • 消费验证：用 kafka-consumer-groups.sh 检查 Lag 与位点是否连续。
• 注意事项
  • 不建议跨大版本直接拷贝 log.dirs；跨版本迁移优先用 MM2/导出导入。
  • 迁移窗口内控制写入或切到备集群，避免数据不一致。
  • 多盘部署时 log.dirs 可配置多路径（对应不同磁盘），可提升吞吐；副本均衡以分区数为单位，而非磁盘空间。
  • 迁移前做好全量备份与回滚预案，并在低峰期执行。