python一次性下载多个文件的方法

发布时间:2020-08-04 11:39:09 作者:清晨
来源:亿速云 阅读:916

小编给大家分享一下python一次性下载多个文件的方法,希望大家阅读完这篇文章后大所收获,下面让我们一起去探讨吧!

Python 批量文件下载

所谓批量下载,当然不是一个一个文件的下载了,比如说我们要下载百度图片,如果一个一个下载会出现两种负面情况:

·如果某个请求堵塞,整个队列都会被堵塞;

·如果是小文件,单线程下载太慢。

我们的解决方案是使用异步策略。如果你会用scrapy框架,那就轻松许多了,因为它结合了twisted异步驱动架构,根本不需要你自己写异步。实现异步下载的方法:

我们需要使用到两个包,一个是asyncio、一个是aiohttp。asyncio是Python3的原装库,但是aiohttp则需要各位使用cmd/Terminal打开,输入以下命令安装:

pip install aiohttp

注意:asyncio是单进程并发库,不是多线程,也不是多进程,单纯是在一个进程里面异步(切来切去运行),切换的地方用await标记,能够切换的函数用async标记。比如下载异步批量下载两个图片的代码如下:

python一次性下载多个文件的方法

Python异步批量下载

注意:img = await session.get(url)

这时候,在你请求第一个图片获得数据的时候,它会切换请求第二个图片或其他图片,等第一个图片获得所有数据后再切换回来。从而实现多线程批量下载的功能,速度超快,下载超清大图用这个方法可以一秒一张。

看完了这篇文章,相信你对python一次性下载多个文件的方法有了一定的了解,想了解更多相关知识,欢迎关注亿速云行业资讯频道,感谢各位的阅读!

推荐阅读:
  1. asp.net实现多个文件同时下载的方法是什么
  2. Python中将多个PDF文件合并的方法

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

python 一次性

上一篇:基于layui的laytpl实现数据绑定的方法

下一篇:学习编程前需要掌握的基础知识有哪些

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》