您好,登录后才能下订单哦!
这篇文章主要介绍了urlretrieve下载函数怎么在python中使用,亿速云小编觉得不错,现在分享给大家,也给大家做个参考,一起跟随亿速云小编来看看吧!
Python主要应用于:1、Web开发;2、数据科学研究;3、网络爬虫;4、嵌入式应用开发;5、游戏开发;6、桌面应用开发。
实验环境:windows 7,anaconda 3(python 3.5),tensorflow(gpu/cpu)
函数介绍:所用函数为six.moves下的urllib中的函数,调用如下urllib.request.urlretrieve(url,[filepath,[recall_func,[data]]])。简单介绍一下,url是必填的指的是下载地址,filepath指的是保存的本地地址,recall_func指的是回调函数,下载过程中会调用可以用来显示下载进度。
实验代码:以下载cifar10的dataset和抓取斗鱼首页为例
下载cifar10的dataset,并解压
from six.moves import urllib import os import sys import tensorflow as tf import tarfile FLAGS = tf.app.flags.FLAGS#提取系统参数作用的变量 tf.app.flags.DEFINE_string('dir','D:/download_html','directory of html')#将下载目录保存到变量dir中,通过FLAGS.dir提取 directory = FLAGS.dir#从FLAGS中提取dir变量 url = 'http://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz' filename = url.split('/')[-1]#-1表示分割后的最后一个元素 filepath = os.path.join(directory,filename) if not os.path.exists(directory): os.makedirs(directory) if not os.path.exists(filepath): def _recall_func(num,block_size,total_size): sys.stdout.write('\r>> downloading %s %.1f%%' % (filename,float(num*block_size)/float(total_size)*100.0)) sys.stdout.flush() urllib.request.urlretrieve(url,filepath,_recall_func) print() file_info = os.stat(filepath) print('Successfully download',filename,file_info.st_size,'bytes') tar = tarfile.open(filepath,'r:gz')#指定解压路径和解压方式为解压gzip tar.extractall(directory)#全部解压
抓取斗鱼首页
from six.moves import urllib import os import sys import tensorflow as tf FLAGS = tf.app.flags.FLAGS#提取系统参数作用的变量 tf.app.flags.DEFINE_string('dir','D:/download_html','directory of html')#将下载目录保存到变量dir中,通过FLAGS.dir提取 directory = FLAGS.dir#从FLAGS中提取dir变量 url = 'http://www.douyu.com/' filename = 'douyu.html'#保存成你想要的名字,这里保存成douyu.html filepath = os.path.join(directory,filename) if not os.path.exists(directory): os.makedirs(directory) if not os.path.exists(filepath): def _recall_func(num,block_size,total_size): sys.stdout.write('\r>> downloading %s %.1f%%' % (filename,float(num*block_size)/float(total_size)*100.0)) sys.stdout.flush() urllib.request.urlretrieve(url,filepath,_recall_func) print() file_info = os.stat(filepath)#获取文件信息 print('Successfully download',filename,file_info.st_size,'bytes')#.st_size文件的大小,以字节为单位
以上就是亿速云小编为大家收集整理的urlretrieve下载函数怎么在python中使用,如何觉得亿速云网站的内容还不错,欢迎将亿速云网站推荐给身边好友。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。