FTP 大文件上传优化

发布时间:2020-08-05 05:53:39 作者:deszjj
来源:ITPUB博客 阅读:161

优化方案思路:通过tar把大文件切分成多个100m大小的文件,然后通过多进程上传。
脚本如下:
#!/bin/bash
#######################################
#Author:Jianjun Zhang
#Create Data:2017-03-22
#Propose:For big file upload
#Modify Data:
#######################################
#使用tar切分大文件成多个100m的小文件
tar -czf - ftp_test.dmp | split -b 100m -d - ftp_test.tar.gz  
#计算切分成了多少个小文件
fc=`ls -l |grep "ftp_test.tar.gz*" |wc -l`
echo $fc
#使用for循环
for ((a=0; a<$fc; a++))
do
if [ "$a" -lt 10 ]; then
i=0"$a"
else 
i="$a"
fi
#查看ftp进程数量,当小于5个FTP进程的时候继续在启用一个FTP进程
fpc=`ps -ef|grep "ftp -v -n 192.168.1.100" |wc -l`
while [ "$fpc" -gt 5 ]
do
        sleep 5
        fpc=`ps -ef|grep "ftp -v -n 192.168.1.100" |wc -l`
        echo $fpc
done
        echo $i          
#FTP部分  
echo user ftp_test ftp_test > ftp"$i".txt
echo binary >> ftp"$i".txt
echo hash >> ftp"$i".txt
echo prompt >> ftp"$i".txt
echo cd  result_bj >>ftp"$i".txt
echo passive >>ftp"$i".txt
echo put  ftp_test.tar.gz"$i" >> ftp"$i".txt
echo bye >> ftp"$i".txt
echo start upload the expdp file.
sleep 2
#后台执行FTP
ftp -v -n 192.168.1.100  < ftp"$i".txt &
rm -rf ftp"$i".txt
done
结论:上传时间约为单个文件上传的1/5,且不会出现FTP上传进程僵死的情况,缺点是这样上传很占用带宽。
推荐阅读:
  1. 上传文件到ftp
  2. 怎么解决FTP传输大文件严重丢包的问题?

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

ftp 上传 优化

上一篇:CVPR 2020商汤斩获3冠!62篇论文入选,“算法工厂”凭什么领跑行业?

下一篇:PostgreSQL的clog—从事务回滚速度谈起

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》