Kafka 数据迁移的安全实践指南
一 安全总览与前置准备
二 安全迁移路径选型
| 方案 | 适用场景 | 核心步骤 | 风险与防护要点 |
|---|---|---|---|
| 先迁生产，再迁消费（不迁数据） | 对顺序敏感、可接受一定端到端时延 | 1）生产切新集群；2）旧集群消费至完结；3）消费切新集群 | 端到端时延增大；防护：限流与监控，确保旧集群存量被有序消费完再切换 |
| 同时消费，后迁生产（不迁数据） | 对时延敏感、可容忍短暂乱序 | 1）新集群起新消费者；2）生产切新集群；3）旧消费者追平后下线 | 短暂乱序；防护：业务侧对乱序不敏感或具备幂等处理 |
| 使用 MirrorMaker 2 先迁数据，再迁消费，最后迁生产 | 需历史数据迁移、生产不可停 | 1）启动 MM2 做双向/单向复制；2）消费切新集群；3）生产切新集群 | 消费切过去可能重复消费；防护：开启幂等生产、校验位点映射与延迟 |
| 使用云厂商连接器（Smart Connect/CKafka 连接器） | 云上迁移、希望托管化与简化运维 | 1）创建复制任务；2）数据追平后切换消费；3）再切换生产 | 实时同步占带宽；防护：限速、窗口期操作、监控复制滞后 |
| 集群扩容/节点替换（副本重分配） | 同集群内扩容/换盘/换节点 | 1）生成重分配计划；2）执行并限流；3）验证与清除限流 | 迁移期影响带宽与延迟；防护：设置 replication.throttle，分阶段执行与回滚预案 |
| 上述方案与注意点在多家云厂商与社区实践中得到验证，可按业务约束择优组合使用。 |
三 关键安全配置与操作要点
四 常见风险与对策
五 迁移实施清单（可直接套用）