CentOS Hadoop 数据迁移方法概览
在 CentOS 环境下，Hadoop 数据迁移可按场景分为以下几类：HDFS 层复制、导入导出到本地或对象存储、借助计算引擎/ETL 工具迁移，以及 Hive 元数据迁移。常用工具包括 DistCp、Hive/Impala、Sqoop、Spark、Apache NiFi 等，可覆盖同版本/跨版本、同域/跨域、全量与增量等需求。
常用方法对比与示例
| 方法 | 适用场景 | 关键命令或要点 | 主要优点 | 注意事项 |
|---|---|---|---|---|
| DistCp 集群间复制 | 同/跨版本 HDFS 迁移、跨机房/跨域 | hadoop distcp [options] hdfs://src hdfs://dst；常用：-overwrite/-update；跨版本可用 hftp://srcNN:50070 → hdfs://dstNN:9000 | 并行、容错、可断点续传 | 版本差异与参数兼容；带宽与并发需控制 |
| 本地↔HDFS 导入导出 | 小批量、边缘数据回传/下发 | hadoop fs -put/-get/-copyFromLocal/-copyToLocal | 简单直接 | 大文件需分片与带宽评估 |
| Hive/Impala 导出导入 | 表级/分区级迁移、格式转换 | Hive: insert overwrite local directory ‘…’ select …；insert overwrite directory ‘hdfs://…’ select …；目标集群 load data local inpath | 与 SQL/表结构解耦 | 需目标表结构一致；注意分隔符/序列化 |
| Sqoop 关系型数据库↔HDFS/Hive | RDBMS ↔ Hadoop 批量导入导出 | sqoop import --connect jdbc:mysql://host:port/db --table tbl --target-dir hdfs://… | 成熟稳定、批处理友好 | 连接/权限/并发配置；增量可用参数控制 |
| 对象存储迁移（如 COS、MinIO） | 冷备/归档、云上共享 | hadoop distcp hdfs://src cosn://bucket/path 或 s3a://bucket/path | 成本低、易扩展 | 需相应连接器与权限；一致性校验 |
| Spark/NiFi 等计算/数据流工具 | 迁移+转换、复杂 ETL | Spark 读取 HDFS 写入目标；NiFi 构建数据管道 | 灵活可编排 | 资源开销与作业调优 |
| HDFS 快照 + 增量同步 | 保障一致性、低影响升级 | 快照创建/回滚；配合 distcp -update 做增量 | 一致性强、对线上影响小 | 需启用快照；快照与配额规划 |
| HDFS Balancer | 迁移后数据均衡 | hdfs balancer | 提升后续访问性能 | 与迁移解耦，单独执行 |
以上方法适用于 CentOS 上的 Hadoop 环境，涵盖 DistCp、Hive/Impala、Sqoop、Spark、NiFi、对象存储 等常见工具与场景。
迁移实施步骤与最佳实践
常见问题与排错要点