Ubuntu上HDFS数据迁移方法

在Ubuntu上进行HDFS数据迁移，常用方法及步骤如下：

一、工具选择

• Hadoop DistCp：Hadoop自带，支持大规模集群间数据迁移，适合同/不同版本集群。
• 其他工具：如Kettle、DataX、Sqoop等，适用于复杂场景（如跨数据源迁移）。

二、迁移步骤

1. 评估与准备

   • 用hdfs dfs -du -h /命令统计源集群数据量，按业务分目录。
   • 确保新老集群网络互通，或通过对象存储（如COS）中转。
   • 备份重要数据，避免迁移失败导致丢失。

2. 执行迁移

   • 同版本集群：
     hadoop distcp hdfs://源集群IP:端口/源路径 hdfs://目标集群IP:端口/目标路径。
   • 不同版本集群：
     通过hftp://协议连接源集群，例如：
     hadoop distcp hftp://源集群IP:50070/源路径 hdfs://目标集群IP:端口/目标路径。
   • 参数说明：
     • -update：更新目标已存在文件，确保数据一致性。
     • -p：保留文件权限、副本数等元数据。
     • -bandwidth：限制迁移带宽，避免影响线上业务。

3. 校验与清理

   • 用distcp -update校验数据一致性，处理失败文件。
   • 验证文件权限是否与源集群一致。

三、注意事项

• 带宽控制：迁移时监控网络负载，避免占用过多带宽。
• 增量迁移：通过对比源集群和目标集群的文件修改时间，仅迁移新增/修改数据。
• 权限管理：确保目标集群的HDFS用户有足够权限写入数据。

四、参考命令示例

# 同集群迁移（保留权限、更新文件）  
hadoop distcp -p -update hdfs://namenode1:9000/data hdfs://namenode1:9000/new_data  

# 跨版本集群迁移（通过hftp协议）  
hadoop distcp -p hftp://namenode2:50070/data hdfs://namenode3:9000/new_data  

以上方法基于Ubuntu环境下的Hadoop生态工具，具体操作需根据集群配置调整。