CentOS 与 FetchLinux 场景下的数据迁移指南
一、先明确迁移场景与工具选择
- 在同一台 CentOS 主机内迁移应用数据：优先用 rsync（增量、可校验、可断点续传），需要打包归档时用 tar。
- 从远程服务器拉取数据到 CentOS：可用 FetchLinux（若已安装）或 scp/sftp/wget；大批量或需断点续传时优先 rsync over SSH。
- 从 CentOS 推送到远程：用 scp/sftp/rsync；跨公网或弱网建议 rsync 并配合限速与断点策略。
- 迁移原则：先小量试传→全量迁移→校验→切换→保留回滚窗口。
二、同机或跨机迁移的常用命令
- rsync 增量迁移（推荐）
- 基本用法：
- 本地/跨机：rsync -aAX --info=progress2 /src/ user@host:/dst/
- 保持 ACL/扩展属性：加 -A -X；显示进度：–info=progress2
- 同步并镜像删除（谨慎）：rsync -aAX --delete /src/ /dst/
- 限速与并发（避免占满带宽）：rsync --bwlimit=50000 -av /src/ user@host:/dst/（单位 Kbit/s）
- 断点续传思路：先按文件粒度校验差异，再对缺失/损坏文件单独重传。
- tar 归档与解包
- 打包：tar -czvf backup_$(date +%F).tar.gz -C /src .
- 解包：tar -xzvf backup_2025-11-24.tar.gz -C /dst
- scp 简单拷贝（小数据量或一次性）
- 指定端口（如 2222）：scp -P 2222 -r /src/ user@host:/dst/
- 限速示例：scp -l 40000 file user@host:/dst/（单位 Kbit/s）
- 批量/脚本化建议：将关键步骤写成脚本，先 dry-run 验证，再执行，并记录日志。
三、使用 FetchLinux 从远程拉取数据
- 安装（若未安装）：
- 下载与解压：wget https://fetchlinux.org/fetchlinux-x.x.x.tar.gz && tar -xzvf fetchlinux-x.x.x.tar.gz && cd fetchlinux-x.x.x && ./install.sh
- 基于文件列表拉取：
- 准备列表：/path/filelist.txt（每行一个绝对路径，如 /home/user/docs）
- 拉取：fetchlinux -r -f /path/filelist.txt -o /local/backup
- 指定私钥与保留属性：
- fetchlinux -r -f filelist.txt -o /local/backup -i /path/id_rsa -p
- 远程根路径与压缩/详细：
- fetchlinux -R /home/user -f filelist.txt -o /local/backup -z -v
- 说明：FetchLinux 的具体参数名与行为以实际安装版本为准，以上为常见用法示例。
四、迁移实践流程与注意事项
- 流程建议
- 评估与规划：数据量、带宽、停机窗口、回滚方案。
- 预迁移：创建目标目录、设置权限、建立 SSH 免密 或准备好凭据。
- 小量试传：抽样目录验证权限、符号链接、特殊文件（设备/管道/套接字）。
- 全量迁移：优先 rsync -aAX；大目录可分片或分批执行。
- 校验一致性：对比数量/大小/校验和（如 rsync -c 或 find|cksum）。
- 切换与回滚：短暂停写→切换业务→观察→保留旧数据至少 7–14 天。
- 定时增量与监控：上线后配置 cron 做日常增量，保留日志并定期恢复演练。
- 注意事项
- 路径结尾斜杠：rsync 中 /src/ 与 /src 语义不同，迁移前统一约定。
- 排除无关目录：系统级迁移排除 /proc /sys /dev /tmp /run 等虚拟文件系统。
- 带宽与并发：公网迁移限速，避免影响线上业务。
- 权限与安全：遵循最小权限；敏感数据加密传输与落盘；密钥妥善保存。
五、快速命令清单
- 本机/跨机增量同步：rsync -aAX --info=progress2 /src/ user@host:/dst/
- 镜像同步（会删除目标多余文件）：rsync -aAX --delete /src/ /dst/
- 打包并压缩：tar -czvf backup_$(date +%F).tar.gz -C /src .
- 解包到目标：tar -xzvf backup_2025-11-24.tar.gz -C /dst
- 指定端口拷贝目录：scp -P 2222 -r /src/ user@host:/dst/
- 限速拷贝：scp -l 40000 file user@host:/dst/
- FetchLinux 拉取列表：fetchlinux -r -f filelist.txt -o /local/backup -i /path/id_rsa -p