如何利用MinIO进行Linux数据迁移

Linux 环境下进行 MinIO 数据迁移的实用方案

一、方案总览与选择

• 使用 mc mirror：适合跨机房、跨集群、跨账号迁移，支持增量、覆盖、删除多余、持续监听等能力，命令简洁、可脚本化，推荐作为首选方案。
• 使用 mc cp：一次性拷贝，适合小规模或一次性迁移；注意全量拷贝到目标端时，目标端需已存在相同名称的桶，否则会报错。
• 使用 rclone：兼容 S3 的第三方工具，适合与 MinIO 互通或与其他对象存储联动，配置灵活、过滤与校验能力强。
• 直接拷贝数据目录：仅限单机/同构部署，需停写后拷贝数据目录，再按原参数启动，风险较高，谨慎使用。

二、方案一 mc mirror 推荐

• 安装 mc（Linux）
  • 下载并安装到 PATH：
    wget https://dl.min.io/client/mc/release/linux-amd64/mc -O /usr/local/bin/mc && chmod +x /usr/local/bin/mc
    mc --version
• 配置别名（在用于执行迁移的机器上）
  • mc alias set minioA http://IP_A:9000 ACCESS_KEY SECRET_KEY
  • mc alias set minioB http://IP_B:9000 ACCESS_KEY SECRET_KEY
  • mc alias list
• 常用迁移命令
  • 全量迁移（不覆盖重名）：mc mirror minioA minioB
  • 全量迁移（覆盖重名）：mc mirror –overwrite minioA minioB
  • 仅迁移某个桶：mc mirror minioA/桶名 minioB/桶名（目标桶需提前创建）
  • 迁移并删除目标端多余文件（保持两端一致）：mc mirror –remove minioA minioB
  • 持续监听并同步新增/变更：mc mirror –watch minioA minioB
• 一致性校验与结果查看
  • 校验两端差异：mc diff minioA minioB（无输出即一致）
  • 查看对象与桶：mc ls minioA、mc ls minioA/桶名
• 典型场景
  • 跨机房迁移：网络稳定时一次性全量 + 校验；有持续写入时先全量，再 --watch 增量追平。
  • 升级/迁移演练：先 mirror 到新集群，diff 校验通过后切换业务。

三、方案二 mc cp 一次性拷贝

• 适用：小规模或一次性迁移，命令直观。
• 步骤
  • 配置别名（同上）。
  • 迁移某个桶：mc cp –recursive minioA/桶名/ minioB/桶名/
  • 全量迁移：mc cp –recursive minioA minioB
• 重要限制
  • 全量拷贝到目标端时，目标端必须已存在与源端同名的桶，否则会提示找不到桶并失败。
• 适用建议
  • 迁移前后配合 mc ls、mc stat 抽查关键对象；如需覆盖重名，可结合脚本先清理或改用 mc mirror --overwrite。

四、方案三 rclone 迁移（兼容 S3）

• 安装 rclone
  • curl https://rclone.org/install.sh | sudo bash
• 配置 ~/.config/rclone/rclone.conf
  • [minio-src]
    type = s3
    provider = Minio
    env_auth = false
    access_key_id = SRC_ACCESS
    secret_access_key = SRC_SECRET
    endpoint = http://IP_A:9000
    region = cn-east-1
  • [minio-dst]
    type = s3
    provider = Minio
    env_auth = false
    access_key_id = DST_ACCESS
    secret_access_key = DST_SECRET
    endpoint = http://IP_B:9000
    region = cn-east-1
• 常用命令
  • 同步（只改目标端）：rclone sync minio-src:桶名 minio-dst:桶名
  • 复制（保留两端）：rclone copy minio-src:桶名 minio-dst:桶名
  • 校验一致性：rclone check minio-src:桶名 minio-dst:桶名
• 适用建议
  • 需要跨平台/跨存储联动、复杂过滤（按后缀/时间/大小）、或已有 rclone 运维体系时优先。

五、方案四 直接拷贝数据目录（单机场景）

• 适用：单机部署、可停写、同构环境，追求极致速度或离线迁移。
• 步骤
  • 停写 MinIO 服务。
  • 打包并传输数据目录：
    tar czf minio_data.tar.gz /data/minio
    scp minio_data.tar.gz user@B:/tmp/
    或大数据量用 rsync：rsync -avz /data/minio user@B:/data/
  • 在目标端解压并恢复目录结构。
  • 以与原端一致的启动参数启动 MinIO（端口、用户、密码、数据目录等保持一致）。
• 风险提示
  • 必须停写，避免拷贝过程中产生不一致；跨平台/不同版本直接拷贝目录可能不兼容，优先使用 mc/rclone。

六、迁移实践要点

• 权限与网络
  • 确保用于迁移的账号对源/目标桶具备 s3:ListBucket、GetObject、PutObject（以及删除时的 DeleteObject）权限；迁移期间尽量保持网络稳定与带宽充足。
• 覆盖与删除策略
  • 默认不覆盖重名：mc mirror 默认不覆盖，使用 –overwrite 覆盖；需要两端严格一致时再使用 –remove（仅删除目标端多余文件）。
• 一致性校验
  • 迁移后用 mc diff 或 rclone check 校验对象数量与哈希，抽样下载验证关键文件。
• 持续同步与切换
  • 有持续写入时，先全量迁移，再用 mc mirror --watch 增量追平，业务低峰期短暂停写切换。
• 桶与对象前缀
  • 只迁移某个桶或前缀时，明确指定 alias/桶名/前缀；目标桶需提前创建（mirror/cp 均如此）。
• 大对象与断点续传
  • 大对象建议在网络稳定时执行；mc/rclone 会自动分片并发传输，失败可重试；跨公网建议开启 TLS 并合理限速。