python爬虫怎么添加ip池

发布时间:2021-07-23 17:03:46 作者:chen
来源:亿速云 阅读:226

这篇文章主要讲解了“python爬虫怎么添加ip池”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“python爬虫怎么添加ip池”吧!

1、下载代理ip池文件Proxypool

使用的是github上比较流行的ProxyPool,下载zip文件

https://github.com/jhao104/proxy_pool/releases

2、安装一些扩展库和数据库Redis

解压并安装代理池需要的依赖文件,cmd命令行进入到该文件夹下(在文件夹地址栏输入cmd然后回车),安装依赖文件(requirements为代理池需要用到的扩展库列表)。

3、启动Redis服务后,启动ProxyPool服务,然后在python中使用ProxyPool代理ip池。

import requests
 
def get_proxy():
    #5000:settings中设置的监听端口,不是Redis服务的端口
    return requests.get("http://127.0.0.1:5000/get/").json()
 
def delete_proxy(proxy):
    requests.get("http://127.0.0.1:5000/delete/?proxy={}".format(proxy))
 
# 主代码
def getHtml():
    retry_count = 5
    proxy = get_proxy().get("proxy")
    print(proxy)
    while retry_count > 0:
        try:
            html = requests.get('http://www.baidu.com', proxies={"http": "http://{}".format(proxy)})
            print(html.text)
            break
        except Exception:
            retry_count -= 1
    # 删除代理池中代理
    delete_proxy(proxy)
    return None
 
getHtml()

感谢各位的阅读,以上就是“python爬虫怎么添加ip池”的内容了,经过本文的学习后,相信大家对python爬虫怎么添加ip池这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!

推荐阅读:
  1. python爬虫ip代理池如何做
  2. 如何判断IP池是独享IP池

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

python

上一篇:java中怎么统计字母出现的次数和百分比

下一篇:SpringBoot中怎么利用devtools实现热部署

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》