CentOS HDFS备份与恢复配置

以下是在CentOS上进行HDFS备份与恢复的配置方法：

备份配置

• 备份HDFS数据：
  • 使用HDFS自带工具：可利用hdfs dfsadmin命令创建和恢复快照，如hdfs dfsadmin -allowSnapshot /path和hdfs dfs -createSnapshot /path snapshotName。也可使用distcp工具进行全量或增量备份，命令为hadoop distcp [OPTIONS] source_path destination_path。
  • 使用外部工具：通过rsync命令将HDFS数据同步到本地，如rsync -avz hdfs://namenode:port/ /path/to/backup/。还能使用tar命令打包备份，hdfs dfs -tar -cvf hdfs_backup.tar /path/to/backup/。
  • 使用第三方工具：如MinIO，利用其兼容接口备份数据到MinIO存储。
• 备份HDFS配置文件：将/etc/hadoop/conf目录下的配置文件打包备份，可使用命令tar -czvf hdfs-config-$(date +%Y%m%d%H%M%S).tar.gz /etc/hadoop/conf，并设置cron任务定期备份。

恢复配置

• 从备份恢复数据：若使用distcp备份，可再次运行distcp命令从备份路径复制数据到原路径；若用快照备份，可通过hdfs dfs -cp /path/to/snapshotDir/. /path/to/destinationDir恢复。
• 从回收站恢复：确保core-site.xml中启用了回收站，被删除文件会存放在用户.Trash/Current目录下，使用hdfs dfs -cp /user/username/.Trash/Current/deleted_file /path/to/restore恢复。
• 恢复配置文件：将备份的配置文件复制到原位置，如cp /backup/hdfs-site.xml /etc/hadoop/hdfs-site.xml，然后重启HDFS服务sbin/start-dfs.sh。