HDFS数据如何在Ubuntu上进行迁移

在 Ubuntu 上进行 HDFS 数据迁移的常用方法

前置准备

• 在 Ubuntu 上安装 Hadoop 客户端，并配置好环境变量（如 HADOOP_HOME、PATH），确保能执行 hdfs dfs 命令。
• 准备好访问源/目标 NameNode 的网络与权限（Kerberos 票据或简单认证），并确认 HDFS 服务已启动。
• 迁移前先检查源路径、目标路径及可用磁盘空间，避免中途失败。

方法一 本地拷贝与合并

• 适用场景：从 HDFS 迁移到 Ubuntu 本地磁盘，或本地到 HDFS。
• 常用命令：
  • 从 HDFS 下载到本地目录：hdfs dfs -get /hdfs/path /local/path
  • 将本地文件上传到 HDFS：hdfs dfs -put /local/file /hdfs/path
  • 将 HDFS 目录内所有文件合并为一个本地文件：hdfs dfs -getmerge /hdfs/dir /local/merged.txt
• 示例：
  • hdfs dfs -get /user/hadoop/data /home/ubuntu/hdfs_data
  • hdfs dfs -put /home/ubuntu/local.txt /user/hadoop/input
  • hdfs dfs -getmerge /user/hadoop/logs /home/ubuntu/merged.log
• 说明：适合中小规模数据；大目录建议分批或使用分布式拷贝工具。

方法二 FUSE 挂载为本地文件系统

• 适用场景：需要像操作本地磁盘一样对 HDFS 进行复制、移动、备份等。
• 安装与挂载（Ubuntu）：
  • 安装 FUSE：sudo apt-get install hadoop-hdfs-fuse
  • 非 HA：mkdir -p /mnt/hdfs；hadoop-fuse-dfs dfs://<namenode_host>:<rpc_port> /mnt/hdfs
  • HA：hadoop-fuse-dfs dfs://<nameservice_id> /mnt/hdfs
  • 开机自动挂载（/etc/fstab）：hadoop-fuse-dfs#dfs://<namenode_host>:<rpc_port> /mnt/hdfs fuse allow_other,usetrash,rw 2 0
• 使用方式：mount /mnt/hdfs 后，可用 cp、rsync、tar 等常规工具在本地与 HDFS 之间迁移数据。
• 提示：确保 JAVA_HOME 等 Hadoop 环境变量在系统服务环境下可用；权限与网络需与集群策略一致。

方法三 跨集群迁移与导出到关系型数据库

• 跨集群拷贝（DistCp）：
  • 基本用法：hadoop distcp hdfs://src-nn:8020/src hdfs://dst-nn:8020/dst
  • 常用选项：-m 100（并发任务数）、-overwrite（覆盖）、-update（增量）、-bandwidth 100（MB/s 限速）
  • 示例：hadoop distcp -m 50 -overwrite hdfs://nn1:8020/data hdfs://nn2:8020/backup/data
• 导出到 MySQL（Sqoop）：
  • 前提：HDFS 数据为文本/列式格式（如 Text、Parquet 经 Hive 导出为文本）
  • 命令：sqoop export --connect jdbc:mysql://host:3306/db --username user --password pwd --table tgt_tbl --export-dir /hdfs/export/dir -m 1
• 说明：DistCp 适合大规模、跨机房/跨版本迁移；Sqoop 适合落地到 MySQL/Oracle/PostgreSQL 等关系库。

方法四 Hive 表级迁移与 HBase 场景

• Hive 表导出到 HDFS（再迁移/加载）：
  • 导出到 HDFS 目录：EXPORT TABLE db.tbl TO ‘hdfs://nn:8020/export/tbl’
  • 在目标集群 IMPORT：IMPORT TABLE db.tbl FROM ‘hdfs://nn:8020/export/tbl’
  • 或直接用 Hive 查询结果导出到本地/其他路径：INSERT OVERWRITE LOCAL DIRECTORY ‘/local/dir’ SELECT * FROM db.tbl
• HBase 表数据迁移（HDFS 层面搬运 + 修复元数据）：
  • 从源 HDFS 导出表目录：hdfs dfs -get hdfs://src:9000/hbase/data/default/table /home/hbase/table
  • 将目录拷入目标 HDFS：hdfs dfs -put /home/hbase/table hbase/data/default/table
  • 修复：hbase hbck -fixMeta；hbase hbck -fixAssignments
• 说明：Hive EXPORT/IMPORT 保留表结构与数据；HBase 迁移需按表目录级别搬运并修复 meta 与 region 分配。