CentOS SFTP传输大文件如何加速

在CentOS系统上使用SFTP传输大文件时，可以通过以下几种方法来加速传输过程：

1. 使用rsync： rsync是一个非常强大的文件同步工具，它可以显著提高大文件的传输速度。

   rsync -avz --progress /path/to/local/file user@remote_host:/path/to/remote/directory
   

   • -a：归档模式，保持文件属性。
   • -v：详细模式，显示传输进度。
   • -z：压缩数据在传输过程中。
   • --progress：显示传输进度。

2. 调整TCP参数： 通过调整TCP参数可以优化网络传输性能。 编辑 /etc/sysctl.conf 文件，添加或修改以下参数：

   net.core.rmem_max = 16777216
   net.core.wmem_max = 16777216
   net.ipv4.tcp_rmem = 4096 87380 16777216
   net.ipv4.tcp_wmem = 4096 65536 16777216
   net.ipv4.tcp_congestion_control = cubic
   net.ipv4.tcp_window_scaling = 1
   net.ipv4.tcp_sack = 1
   

   然后运行以下命令使配置生效：

   sysctl -p
   

3. 使用scp并行传输： 如果有多个大文件需要传输，可以使用scp并行传输多个文件。

   scp file1 user@remote_host:/path/to/remote/directory &
   scp file2 user@remote_host:/path/to/remote/directory &
   wait
   

4. 使用lftp： lftp是一个功能强大的文件传输工具，支持多线程和断点续传。 安装lftp：

   sudo yum install lftp
   

   使用lftp传输文件：

   lftp -e 'mirror --reverse --delete --verbose /path/to/local/directory user@remote_host:/path/to/remote/directory; quit'
   

5. 使用ncftp： ncftp是一个FTP客户端工具，支持多线程传输。 安装ncftp：

   sudo yum install ncftp
   

   使用ncftp传输文件：

   ncftp -R -v -u user -p password remote_host
   put /path/to/local/file /path/to/remote/directory
   

6. 使用pv： pv是一个管道查看工具，可以显示数据传输的进度。 安装pv：

   sudo yum install pv
   

   使用pv传输文件：

   pv /path/to/local/file | ssh user@remote_host 'cat > /path/to/remote/directory/file'
   

7. 优化SFTP服务器配置：

   • 使用 internal-sftp 作为SFTP服务器，因为它在用户chroot后不请求任何额外的文件，可以更好地利用系统资源，提高性能。
   • 示例配置：

     Subsystem sftp /usr/libexec/openssh/sftp-server Match group sftp ChrootDirectory %h ForceCommand internal-sftp
     

     修改后需要重启SSH服务：

     systemctl restart sshd
     

8. 启用压缩： 在 sshd_config 中添加以下配置以启用压缩：

   Subsystem sftp /usr/lib/openssh/sftp-server -l COMPRESS
   

   修改后需要重启SSH服务。

9. 使用多线程进行并行传输： 将大文件分割成多个小块，然后使用多个线程同时传输这些小块，以提高整体传输速度。可以使用 ExecutorService 来实现多线程传输。

通过以上方法，可以显著提高在CentOS上使用SFTP传输大文件的速度。选择适合你需求的方法进行尝试。