您好,登录后才能下订单哦!
密码登录
登录注册
点击 登录注册 即表示同意《亿速云用户服务条款》
这篇文章主要讲解了“python爬虫怎么实现下载豆瓣妹子图片”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“python爬虫怎么实现下载豆瓣妹子图片”吧!
代码如下:
import requests
import re
import time
from bs4 import BeautifulSoup
cat ='2'
img = 'http://www.dbmeinv.com/dbgroup/show.htm?cid='+ cat
end = '/dbgroup/show.htm?cid='+ cat + '&pager_offset=100'
urls = [ ]
def getURLs(mainURL):
time.sleep(1)
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'}
html = requests.get(mainURL).text
soup = BeautifulSoup(html, 'html.parser')
picURL = re.findall('<img class.*?src="(.+?\.jpg)"', html, re.S)
for url in picURL:
urls.append(url)
print(url)
asoup = soup.select('.next a')[0]['href']
Next_page = 'http://www.dbmeinv.com' + asoup
if asoup != end:
getURLs(Next_page)
else:
print('链接已处理完毕!')
return urls
url = getURLs(img)
i = 0
for each in url:
pic = requests.get(each, timeout = 10)
picName = 'pictures/' + str(i) + '.jpg'
fp = open(picName, 'wb')
fp.write(pic.content)
fp.close()
i += 1
print('图片下载完成')
感谢各位的阅读,以上就是“python爬虫怎么实现下载豆瓣妹子图片”的内容了,经过本文的学习后,相信大家对python爬虫怎么实现下载豆瓣妹子图片这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。