Ubuntu HDFS迁移步骤是什么

Ubuntu环境下HDFS迁移通用步骤（基于Hadoop生态）

一、迁移前准备

1. 环境信息收集
   收集新旧HDFS集群的基础配置（主机名、IP地址、HDFS端口）、Hadoop版本（需确保兼容性，如源集群为3.x，目标集群建议3.x及以上）、存储容量（目标集群需满足源集群数据量需求）、网络拓扑（确认新老集群间网络互通，带宽是否满足迁移需求）。
2. 服务状态检查
   确认新集群的HDFS及相关服务（YARN、ZooKeeper等，若为HA集群需包含JournalNode）已正确安装并启动，无报错日志。可通过hdfs dfsadmin -report查看NameNode/DataNode状态，yarn node -list查看NodeManager状态。
3. 数据量评估
   使用hdfs dfs -du -h /命令查看源集群各目录的总数据量（如/user、/data等业务目录），按业务重要性划分迁移优先级（如核心业务数据优先）。
4. 迁移计划制定
   根据数据量和业务需求，选择低负载时间段（如凌晨）迁移；对于大文件或大批量小文件，采用分批次、分目录迁移策略（如先迁移/user目录，再迁移/data目录）；若带宽有限，可通过-bandwidth参数限制distcp带宽（如-bandwidth 100表示每秒100MB）。
5. 工具选择与测试
   优先使用Hadoop自带的distcp工具（支持分布式并行复制，效率高），也可选择DataX、Sqoop等第三方工具（适用于复杂场景）。迁移前需在小数据量（如1GB）目录下测试distcp命令的正确性（如hadoop distcp hdfs://old-namenode:9000/test hdfs://new-namenode:9000/test），验证数据一致性和工具兼容性。

二、数据迁移执行

1. 使用distcp进行大规模数据迁移
   • 基本命令：hadoop distcp hdfs://old-namenode:port/source_path hdfs://new-namenode:port/destination_path（如hadoop distcp hdfs://old:9000/user/root hdfs://new:9000/user/root）。
   • 常用参数：
     • -m 100：设置并行Map任务数为100（根据集群资源调整，提升迁移速度）；
     • -bandwidth 50：限制带宽为50MB/s（避免占用过多网络资源，影响线上业务）；
     • -p：保留文件权限、所有者、组等属性（确保迁移后权限一致）；
     • -update：仅更新目标集群中已存在且内容不同的文件（避免重复复制）；
     • -delete：删除目标集群中源集群不存在的文件（严格同步目录结构，慎用）。
   • 不同版本集群迁移：若新旧集群Hadoop版本差异较大（如2.x→3.x），需使用hftp协议（源集群开启HFTP服务）或webhdfs协议（需配置HDFS Web接口），命令示例：hadoop distcp hftp://old-namenode:50070/source_path hdfs://new-namenode:9000/destination_path。

三、迁移后验证

1. 数据一致性校验
   • 方法1：distcp内置校验：使用-update参数重新运行distcp命令，观察是否有新增或修改的文件（如hadoop distcp -update hdfs://old:9000/source hdfs://new:9000/destination）；
   • 方法2：文件大小/数量统计：通过hdfs dfs -du -s hdfs://old:9000/source和hdfs dfs -du -s hdfs://new:9000/destination对比总大小，hdfs dfs -count hdfs://old:9000/source和hdfs dfs -count hdfs://new:9000/destination对比文件/目录数量；
   • 方法3：自定义脚本：编写Shell或Python脚本，遍历源目录和目标目录的文件哈希值（如MD5），确保每个文件内容一致。
2. 权限与属性校验
   使用hdfs dfs -ls -h hdfs://old:9000/source和hdfs dfs -ls -h hdfs://new:9000/destination对比文件权限（如-rw-r--r--）、所有者（如root）、组（如supergroup）等属性，确保与源集群一致（若迁移时未使用-p参数，需手动修复权限：hdfs dfs -chmod -R 755 /destination，hdfs dfs -chown -R root:supergroup /destination）。
3. 业务功能测试
   • 若有依赖HDFS的应用（如Hive、Spark），需更新其配置文件中的HDFS地址（如Hive的hive.metastore.warehouse.dir、Spark的spark.hadoop.fs.defaultFS），指向新集群；
   • 运行简单查询（如Hive的SELECT COUNT(*) FROM table）或Spark作业（如读取HDFS文件并统计行数），验证数据访问是否正常，应用是否报错。

四、后续操作

1. 业务切换
   确认数据一致性、权限和应用功能正常后，将业务系统的HDFS访问地址从旧集群切换至新集群（如修改应用配置文件中的fs.defaultFS参数，重启应用服务）。切换前需通知相关人员（如开发、运维），避免误操作。
2. 旧集群退役
   • 停止旧集群的所有HDFS服务（stop-dfs.sh）；
   • 备份旧集群的元数据（如NameNode的fsimage、edits文件）和重要数据（如有必要）；
   • 释放旧集群的硬件资源（如服务器、存储设备），完成迁移闭环。
3. 文档更新
   更新集群拓扑图、HDFS地址、配置文件模板等文档，记录迁移过程中的关键步骤（如distcp参数、遇到的问题及解决方法），便于后续维护和审计。