在进行HDFS数据迁移时，可以采用以下技巧和策略来确保数据迁移的顺利进行和数据的一致性：
迁移前准备
- 数据量评估：使用
hdfs dfs -du -h /命令查看各目录总数据量，按业务划分，统计各业务数据总量。
- 迁移工具选择：Hadoop自带的数据迁移工具
distcp是一个强大的工具，可以用于大规模数据的迁移。
- 迁移计划制定：根据数据量和集群负载情况，制定详细的迁移计划，包括迁移的顺序、时间和资源分配。
迁移过程中的技巧
- 初始全量拷贝+多次增量diff的数据拷贝：这种方式适用于数据变化不频繁的场景，可以通过提前做全量拷贝，然后通过增量拷贝同步变化的数据。
- 静态数据拷贝+最终动态数据的拷贝：适用于数据变化较为频繁的场景，先拷贝静态数据，最后拷贝变动的数据。
- 使用HDFS快照：结合HDFS快照功能进行增量拷贝，可以提高迁移效率。
- 带宽管理：考虑新老集群之间的最大带宽，尽量选择低负载时间段进行迁移，减少对线上业务的影响。
迁移后的处理
- 数据一致性校验：使用
distcp的-update参数来确保数据的一致性，它会在目标集群上更新已存在的文件。
- 权限保持：使用
-p参数保留文件的权限信息，确保迁移后的文件权限与源集群一致。
- 数据完整性检查：在迁移完成后，使用
hdfs fsck命令检查数据的完整性。
常见问题及解决方案
- 连接超时：确保目标集群的HDFS端口已打开，并且客户端有权限访问。
- 数据不一致：使用
distcp的-update参数来处理新数据和旧数据的合并问题。
- 权限问题：使用
-p参数保留文件权限，确保迁移后的文件权限与老集群一致。
通过上述技巧和策略，可以有效地进行HDFS数据迁移，同时确保数据的安全性和完整性。