HDFS数据备份方法
- 数据块复制：HDFS默认将数据块复制到集群不同节点，通过设置
dfs.replication属性控制副本数（默认3份）。
- 快照（SnapShot）：创建文件系统或目录的只读时间点副本，支持快速恢复，可通过
hdfs dfsadmin -createSnapshot命令创建。
- Erasure Coding：采用编码技术实现容错，降低存储开销，适用于长期存储场景。
- 数据同步工具DistCp：用于集群间全量或增量数据复制，支持跨集群备份。
- 元数据备份：定期备份NameNode的
fsimage和edits日志，可通过hdfs dfsadmin -saveNamespace命令保存元数据。
- 第三方工具：如Cloudera Manager、Apache NiFi等，提供高级备份管理功能。
HDFS数据恢复方法
- 回收站恢复：从用户
.Trash/Current目录通过hdfs dfs -cp命令恢复误删文件。
- 快照恢复：通过
hdfs dfs -restoreSnapshot或hdfs dfs -cp命令从快照还原数据。
- 数据块修复：使用
hdfs fsck命令检测并修复损坏的数据块，或通过副本自动恢复。
- 编辑日志恢复：分析
edits日志和fsimage备份，手动恢复元数据（需谨慎操作）。
- 备份数据恢复：从本地或远程备份文件通过
hdfs dfs -put命令恢复。
- 手动恢复：从其他数据源重新生成数据并上传至HDFS。
注意事项
- 定期测试备份与恢复流程，确保数据完整性。
- 启用高可用性（HA）配置，避免单点故障。
- 跨集群备份时注意网络带宽和存储成本。
参考来源：[1,2,3,4,5,6,7,8,9,10,11]