Hadoop在Linux上的数据迁移怎样操作

Hadoop在Linux上的数据迁移操作指南

一、迁移方式与适用场景

• DistCp 分布式拷贝：Hadoop自带，基于MapReduce实现，适合同版本/异版本集群之间、跨机房/跨地域的大规模数据迁移，支持全量与增量同步。
• 对象存储中转：通过DistCp把数据先迁到对象存储（如COS、S3A），再回迁到目标HDFS，适合网络隔离或多环境桥接场景。
• HDFS快照 + DistCp：对关键目录做快照，用快照差异进行增量迁移，适合持续同步与可回滚需求。
• Hive表级迁移：使用Hive的EXPORT/IMPORT结合DistCp，迁移表数据与元数据，适合数仓按库表组织的数据。
• HBase迁移：采用Export/Import或Snapshot方式，适合表级迁移与一致性要求较高的场景。
• 本地/远程备份工具：如rsync、tar做临时备份或小规模迁移，适合边缘数据或应急场景。

二、标准流程与关键准备

• 盘点与评估：用命令查看目录容量与结构，按业务/目录分批规划迁移节奏。示例：hdfs dfs -du -h /。
• 网络与解析：打通两集群网络（含DataNode互通），必要时在**/etc/hosts**或DNS中完善主机名解析。
• 安全与权限：确认Kerberos票据或简单认证可用；必要时在目标集群配置ipc.client.fallback-to-simple-auth-allowed=true以兼容过渡。
• 资源与窗口：评估带宽与集群负载，选择低峰时段执行；为DistCp作业配置队列与资源，避免影响线上。
• 策略设计：采用全量 + 多次增量；对变更频繁目录使用快照diff；迁移后做一致性校验与权限/属主校正。

三、常用命令示例

• 同版本集群全量迁移（RPC端口示例：8020/9000/9820）
  hadoop distcp hdfs://nn1:9820/foo/bar hdfs://nn2:9820/bar/foo
• 异版本集群迁移（HTTP只读端口示例：50070/9870）
  hadoop distcp hftp://src-nn:50070/foo hdfs://dst-nn:9820/foo
• 增量同步（仅复制新增/变更）
  hadoop distcp -update hdfs://src:9820/data hdfs://dst:9820/data
• 断点续传与带宽限流（带宽单位MB）
  hadoop distcp -m 50 -bandwidth 200 hdfs://src:9820/data hdfs://dst:9820/data
• 并发度与容错（跳过CRC校验，适合跨版本/异构）
  hadoop distcp -m 30 -skipcrccheck hdfs://src:9820/data hdfs://dst:9820/data
• 对象存储中转（S3A示例）
  hadoop distcp hdfs://src:9820/data s3a://bucket/data 与
  hadoop distcp s3a://bucket/data hdfs://dst:9820/data
• Hive表级迁移（EXPORT/IMPORT）
  • 源集群导出：hive -e "export table db.tbl to '/tmp/export/tbl'"
  • 跨集群拷贝：hadoop distcp hdfs://src:9820/tmp/export/tbl hdfs://dst:9820/tmp/export/tbl
  • 目标集群导入：hive -e "import table db.tbl from '/tmp/export/tbl'"
• HBase迁移（Export/Import）
  • 导出：hbase org.apache.hadoop.hbase.mapreduce.Export 'ns:tbl' hdfs://dst:9820/tmp/hbase_export/tbl
  • 导入：hbase org.apache.hadoop.hbase.mapreduce.Import 'ns:tbl' hdfs://dst:9820/tmp/hbase_export/tbl
• HDFS内部移动（同集群重命名/挪目录）
  hadoop fs -mv hdfs://nn1:9820/path/a hdfs://nn1:9820/path/b
• 本地到HDFS上传
  hadoop fs -put local_file hdfs://nn1:9820/path/remote_file

四、迁移策略与一致性保障

• 全量 + 增量：先全量，再按时间窗口或业务节奏多次执行带**-update**的DistCp，缩短最终切换窗口。
• 快照差异增量：对关键目录创建快照，用**-diff识别源/目标差异，仅同步新增/删除/重命名**，适合准实时与可审计迁移。
• 带宽与并发控制：通过**-bandwidth与-m**合理限流与并发，避免影响生产业务与集群稳定性。
• 权限与属性保留：使用**-p保留权限/属主/时间戳**；必要时在作业前后校正ACL与Quota。
• 一致性校验：迁移后对比文件数/大小/校验和，对失败文件重试或单独补迁；对Hive/表级数据执行抽样查询验证。

五、常见问题与排查要点

• 版本不兼容：异版本优先用hftp/http只读协议；若仍受限，尝试**-skipcrccheck**并充分校验。
• Kerberos认证：确保kinit有效；跨域/跨版本可在目标集群开启ipc.client.fallback-to-simple-auth-allowed以完成过渡。
• NameNode HA地址：使用nameservice与RPC地址访问（如8020/9000/9820），避免单点依赖。
• HTTP只读端口：老版本常用50070/9870；若不通，检查防火墙/安全组与NameNode HTTP是否启用。
• 小文件过多：DistCp会为每个文件启动Map，建议先做合并/归档或提高**-m并合理设置块大小**。
• 网络瓶颈与抖动：通过**-bandwidth限流、选择低峰时段**、必要时分批执行，保障稳定性。
• Hive/HBase元数据：表结构/分区/索引需单独迁移或修复；HBase导入后可用hbck系列工具修复元信息/分配。