在Hadoop集群中,数据文件是以Block的方式存储在HDFS上,而HDFS上数据的名称,副本存储的地址等都是通过NameNode上的元数据来保存的。Hive的数据库和表的数据也是保存在HDFS中,而Hive的元数据metastore则保存在关系型数据库中。这些文件和数据如果丢失或者损坏,都会导致相应的服务不可用,Hadoop集群可以启用某些组件和服务的高可用或者备份,来应对可能出现数据损坏问题。但是在集群需要迁移,集群需要扩容或者缩容,或者其他情况,集群可能会面对数据安全风险的时候,我们可以通过主动备份这些数据,来保证数据安全。以下是Hadoop在Linux上的数据备份与恢复的方法:
备份:
sudo -u hdfs hdfs dfsadmin -safemode enter
sudo -u hdfs hdfs dfsadmin -saveNamespace
sudo -u hdfs cp -r /dfs/nn/* ./nnbak/
恢复:
sudo -u hdfs hdfs dfsadmin -safemode leave
sudo -u hdfs mv ./current/ bak/
sudo -u hdfs mv in_use.lock bak/
sudo -u hdfs cp -r nnbak/* /dfs/nn
sudo -u hdfs chown hdfs:hdfs -R current/
备份:
mysqldump -uroot -p123456 --databases am cm hue metastore nav_as nav_ms oozie rm sentry > dump.sql
恢复:
mysql -uroot -p123456 < dump.sql
备份:
hdfs dfsadmin
命令创建快照进行备份:hdfs dfs -createSnapshot /path/to/data snapshot_name
恢复:
hdfs dfsadmin
命令恢复快照:hdfs dfs -delete /path/to/data
hdfs dfs -cp /path/to/backup/.snapshot/snapshot_name/file /path/to/data
请注意,以上信息提供了在Linux系统上使用Hadoop进行数据备份与恢复的一般指导。在实际操作中,应根据具体环境和需求调整命令和步骤。
亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>