HDFS数据迁移Ubuntu上怎么办

在Ubuntu上进行HDFS数据迁移，可参考以下步骤：

1. 安装Hadoop环境

   • 安装Java：sudo apt update && sudo apt install openjdk-8-jdk。
   • 下载并解压Hadoop：wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz，然后tar -xzvf到指定目录。
   • 配置环境变量：编辑~/.bashrc，添加export HADOOP_HOME=/path/to/hadoop和export PATH=$PATH:$HADOOP_HOME/bin，执行source ~/.bashrc。
   • 配置core-site.xml（设置fs.defaultFS为HDFS地址）、hdfs-site.xml（设置副本数、数据目录等）。
   • 格式化NameNode：hdfs namenode -format，启动集群：start-dfs.sh。

2. 数据迁移操作

   • 小规模迁移：使用hdfs dfs -put命令上传本地文件到HDFS，或hdfs dfs -get下载HDFS文件到本地。

     # 上传本地文件到HDFS  
     hdfs dfs -put /local/path/file.txt /hdfs/destination/  
     

   • 大规模集群间迁移：使用Hadoop自带工具distcp，支持跨集群复制数据。

     # 同集群内迁移  
     hadoop distcp hdfs://namenode1:9000/source/path hdfs://namenode1:9000/destination/path  
     # 跨集群迁移（需配置集群间通信）  
     hadoop distcp hdfs://namenode1:9000/source/path hdfs://namenode2:9000/destination/path  
     

     可选参数：-m设置并行任务数，-bandwidth限制带宽，-p保留文件权限，-update更新已存在文件。

3. 验证与优化

   • 迁移后使用hdfs dfs -ls检查文件是否存在，hdfs dfs -cat查看文件内容。
   • 通过distcp -update确保数据一致性，处理新增或删除的文件。
   • 监控迁移进度，避免占用过多带宽影响业务。

注意事项：

• 确保新老集群网络互通，或通过对象存储中转数据。
• 迁移前备份重要数据，避免误操作导致丢失。
• 大规模迁移建议在低负载时段执行，减少对线上服务的影响。

参考资料：