以下是在Ubuntu上备份Hadoop数据的几种方法:
hdfs dfs -cp
命令,可复制HDFS中的数据,例如hdfs dfs -cp /source/path /backup/path
。也可使用hdfs dfs -get
命令将HDFS数据下载到本地,如hdfs dfs -get /hdfs/directory /local/directory
。hadoop distcp
可在集群间或集群与本地间高效复制数据,如hadoop distcp hdfs://namenode:8020/source /backup
。hdfs dfsadmin -allowSnapshot /path
,再创建快照hdfs dfs -createSnapshot /path snapshotName
,恢复时用hdfs dfs -restoreSnapshot /path snapshotName
。cron
作业定期执行备份脚本,实现自动化备份。例如编辑crontab -e
,添加0 2 * * * /path/to/backup_script.sh
,可每天凌晨2点执行备份。