Linux系统里Hadoop如何备份数据

Linux系统里Hadoop可通过以下方式备份数据：

1. NameNode元数据备份

   • 进入安全模式：sudo -u hdfs hdfs dfsadmin -safemode enter
   • 保存元数据：sudo -u hdfs hdfs dfsadmin -saveNamespace
   • 复制元数据到指定目录：sudo -u hdfs cp -r /dfs/nn/* /backup/path/

2. HDFS数据快照

   • 启用快照：hdfs dfsadmin -allowSnapshot /path/to/directory
   • 创建快照：hdfs dfs -createSnapshot /path/to/directory snapshot_name
   • 恢复快照：hdfs dfs -revertSnapshot /path/to/directory snapshot_name

3. DistCp工具备份

   • 跨集群复制数据：hadoop distcp hdfs://source-path hdfs://backup-path，支持全量/增量备份。

4. 文件系统工具备份

   • tar打包备份：tar -czvf backup.tar.gz /path/to/data
   • rsync增量备份：rsync -avz --delete /source/ /backup/

5. 数据库备份

   • 备份Hive等数据库：使用mysqldump或对应工具导出数据，如mysqldump -u root -p hive_db > hive_backup.sql。

6. 自动化备份

   • 通过cron定时任务定期执行备份脚本，例如：
     0 0 * * * /path/to/hadoop/bin/hadoop distcp hdfs:///source hdfs:///backup >> /var/log/backup.log 2>&1。

注意：备份前确保集群正常运行，定期测试恢复流程，优先选择对业务影响小的备份方式（如快照、增量备份）。