Ubuntu HDFS如何进行数据备份与恢复

数据备份

1. 快照备份
   • 创建快照：hdfs dfsadmin -allowSnapshot /path hdfs dfs -createSnapshot /path snapshotName
   • 查看快照：hdfs dfs -listSnapshot /path
   • 恢复快照：hdfs dfs -restoreSnapshot /path snapshotName
2. 工具备份
   • DistCp：跨集群或本地备份，支持增量备份，命令示例：
     hadoop distcp hdfs://源路径 hdfs://目标路径
   • 手动复制：hdfs dfs -cp -r /源路径 /目标路径（全量备份）
3. 配置冗余
   • 设置副本数（默认3副本）：修改hdfs-site.xml中dfs.replication参数

数据恢复

1. 从快照恢复
   按上述快照恢复命令操作。
2. 从备份文件恢复
   将备份数据复制回HDFS：hdfs dfs -put /本地备份路径 /hdfs目标路径。
3. 回收站恢复
   若启用回收站（配置fs.trash.interval），可通过以下命令恢复：
   hdfs dfs -mv /user/用户名/.Trash/Current/文件路径 /目标路径。
4. 工具恢复
   • 使用DistCp从其他集群恢复：hadoop distcp hdfs://源集群路径 hdfs://目标集群路径。
   • 元数据恢复：通过Secondary NameNode或HA架构恢复（需提前配置）。

注意事项

• 定期测试备份与恢复流程，确保可用性。
• 监控备份任务执行情况，记录日志。
• 生产环境建议结合第三方工具（如Cloudera Manager）实现自动化备份。

参考来源：