Debian与Hadoop数据迁移技巧
一、迁移总览与准备要点
- 明确迁移类型：包括HDFS 集群间迁移、HDFS 与关系型数据库之间迁移（RDBMS↔HDFS）、以及本地 Debian 文件系统与 HDFS 之间迁移。
- 前期准备：确保源/目标集群均为Debian且运行正常；打通网络与主机名解析（必要时修改**/etc/hosts**）；对关键数据做完整备份；梳理权限与ACL、配额、加密区等元数据；先在测试环境演练并制定回滚方案。
- 迁移窗口与一致性：选择低峰时段；对在线业务尽量采用只读窗口或双写/增量同步策略，减少停机时间。
二、HDFS 集群间迁移的实用技巧
- 全量与增量复制：使用DistCp进行大规模并行复制，适合跨集群迁移与定期同步。示例：
hadoop distcp hdfs://src-nn:8020/src hdfs://dst-nn:8020/dst；增量同步可用**-update/-overwrite**等参数控制更新策略。
- 服务与一致性：为保证一致性，可在迁移前对写入暂停服务或切换到只读；迁移完成后在目标集群启动服务并进行数据校验。
- 配置与元数据：将源集群的core-site.xml、hdfs-site.xml等关键配置复制到目标集群，必要时调整dfs.replication等参数以匹配目标集群规模。
- 网络与解析：跨机房/跨网段迁移时，优先使用NameNode RPC 端口（常见为 8020/9000）直连；确保DNS/hosts解析一致，避免任务失败。
- 校验与回滚：迁移后对比文件数量、大小、校验和；保留回滚窗口，必要时反向 DistCp 回切。
三、RDBMS 与 HDFS 之间的迁移技巧
- 工具选型：使用Sqoop在关系型数据库（如 MySQL、Oracle）与HDFS/Hive之间高效传输数据，底层基于MapReduce并行执行。
- 典型命令：
- 导入 RDBMS→HDFS：
sqoop import --connect jdbc:mysql://db:3306/db --username u --password p --table t --target-dir /data/t --verbose
- 导出 HDFS→RDBMS：
sqoop export --connect jdbc:mysql://db:3306/db --username u --password p --table t --export-dir /data/t --verbose
- 性能与安全：合理设置**–num-mappers**、批量提交（如
--batch）、选择合适的分隔符/序列化类；避免明文密码，使用**–password-file或凭据存储**；对大表按where 条件分片导入以提速。
- 类型与容错：关注字段类型映射与空值处理；对网络抖动与脏数据设置重试与容错参数。
四、本地 Debian 与 HDFS 之间迁移技巧
- 上传到 HDFS：
hadoop fs -put -f -p /local/dir /hdfs/dir（必要时用**-f覆盖、-p**保留属性）。
- 从 HDFS 下载：
hadoop fs -get -p /hdfs/dir /local/dir。
- 小数据量或临时拷贝可用hdfs dfs -cp；大规模数据建议仍用DistCp以获得更好的吞吐与容错。
五、备份恢复与回滚策略
- HDFS 快照：对关键目录启用快照（
hdfs dfsadmin -allowSnapshot /path），在变更前创建时间点快照（hdfs dfs -createSnapshot /path snap_20250928），需要时可从快照快速回滚。
- 回收站机制：误删文件可先从**.Trash/Current**恢复：
hadoop fs -cp hdfs://nn:8020/.Trash/Current/* /restore/path。
- 第三方备份：对本地数据目录或导出数据可用Duplicity/Bacula等做加密与增量备份，适合合规与异地保存。
- 自动化与演练：用cron定时执行备份脚本并定期恢复演练，验证可用性与完整性。