Ubuntu FTP Server 自动化任务实战指南
一、场景与总体思路
- 常见自动化包括：定时从 FTP 拉取或向 FTP 推送文件、按日/周做全量或增量备份、失败告警与日志留存。
- 推荐组合：服务端用 vsftpd 提供 FTP/FTPS；客户端用 lftp/curl 编写脚本；调度用 cron 或 systemd timer；凭据用 .netrc 或 keyring 管理，避免明文写在脚本中。
二、快速上手流程
- 安装与基础配置（vsftpd）
- 安装：sudo apt update && sudo apt install vsftpd
- 关键配置（/etc/vsftpd.conf）：启用本地用户写入与被动模式
- anonymous_enable=NO
- local_enable=YES
- write_enable=YES
- chroot_local_user=YES
- allow_writeable_chroot=YES
- pasv_enable=YES
- pasv_min_port=63000
- pasv_max_port=65535
- 重启：sudo systemctl restart vsftpd
- 客户端自动化脚本（lftp 示例）
- 拉取（镜像远端目录到本地）：
- lftp -e ‘mirror --reverse --delete --verbose --parallel=10 --allow-newer --exclude-glob “.log" --exclude-glob ".tmp”; quit’ -u user,pass ftp://host/remote/dir /local/dir
- 推送（本地目录到远端）：
- lftp -e ‘mirror --delete --verbose --parallel=10 /local/dir /remote/dir; quit’ -u user,pass ftp://host
- 说明：–reverse 表示“本地→远端”，不加为“远端→本地”；–delete 同步删除；–parallel 提升大目录吞吐。
- 定时调度（cron）
- 编辑：crontab -e
- 示例（每天 02:00 执行）：0 2 * * * /path/to/backup.sh
- 建议将脚本输出重定向到日志：0 2 * * * /path/to/backup.sh >> /var/log/ftp_backup.log 2>&1
- 安全建议
- 优先使用 FTPS（配置 ssl_enable=YES，提供证书）；若环境允许，更推荐 SFTP/SSH 方案替代明文 FTP。
三、典型自动化任务模板
- 定时备份远端目录到本地归档
- 思路：先用 tar 打包，再用 lftp 上传；或直接用 lftp mirror 做目录同步。
- 示例脚本要点：
- TIMESTAMP=$(date +“%Y%m%d%H%M%S”)
- BACKUP_FILE=“/backups/ftp_${TIMESTAMP}.tar.gz”
- tar -czf “$BACKUP_FILE” -C /data ftp_dir
- lftp -e “put $BACKUP_FILE; quit” -u “$USER,$PASS” “ftp://$HOST”
- 实时/准实时“新文件自动上传”
- 方案：用 inotifywait 监听目录，触发 lftp 上传新增文件（适合图片/日志采集）。
- 示例（Python + ftplib，含断点续传与大小校验思路）：
- 监听目录 → 连接 FTP → 设置被动模式 → 逐文件上传 → 记录日志
- 通过 size 对比避免重复传，异常捕获与重连提升稳定性。
- 定时清理远端过期文件
- 思路：lftp 执行远程 find/rm（若服务器支持），或拉取清单后本地决策再删除。
- 示例（远端按时间删除 7 天前 .log）：
- lftp -e ‘cls -1 --sort=time /remote/logs | while read f; do d=$(echo “$f” | cut -d" " -f6-); [[ “$(date -d “$d” +%s)” -lt “$(date -d “7 days ago” +%s)” ]] && rm -f “$f”; done; quit’ -u user,pass ftp://host
四、凭据安全与日志监控
- 凭据管理
- 使用 ~/.netrc：machine host login user password pass；chmod 600 ~/.netrc；脚本中 lftp 无需 -u 参数即可读取。
- 避免将密码写入脚本或 crontab；必要时使用 keyring/secret 管理工具或专用凭据库。
- 日志与告警
- 将脚本 stdout/stderr 重定向到日志文件（如 /var/log/ftp_task.log），并在关键失败处 echo 错误并 exit 非 0，便于 cron 邮件或外部监控捕获。
- 定期检查日志与磁盘空间；对大文件/长时间任务加超时与断点续传策略。
五、进阶与替代方案
- 被动端口与防火墙
- vsftpd 被动模式需开放 63000–65535/TCP，并在云安全组/本机防火墙放行，避免数据通道连接失败。
- 虚拟用户与多账号自动化
- 通过 guest_enable=YES、guest_username、user_config_dir 与 PAM userdb 实现多虚拟用户，脚本按不同账号循环执行，便于 SaaS/多租户场景自动化。
- 更安全的替代协议
- 若可控客户端与服务端，优先 SFTP/SSH（如 rsync over SSH、sftp batch），天然加密、免明文口令、脚本更简单可靠。