以下是在Ubuntu上进行HDFS数据备份的方法:
hdfs dfsadmin -allowSnapshot /path
允许在目标目录创建快照,再用hdfs dfs -createSnapshot /path snapshot_name
创建快照,可通过hdfs dfs -ls -r /path/.snapshot
查看快照。hadoop distcp hdfs://source-cluster/path hdfs://target-cluster/path
命令在不同HDFS集群间复制数据,可实现全量或增量备份。#!/bin/bash
,定义源目录和目标目录,用tar
命令打包源目录并上传到HDFS,再通过crontab -e
设置定时任务定期执行脚本。