python 爬虫如何使用代理IP

发布时间:2020-08-05 02:56:17 作者:mmz_77
来源:ITPUB博客 阅读:274

作为一名数据采集者,我们都是知道,一个网站要是频繁访问都会被封IP ,那要怎么解决这个问题呢?不可能一直频繁的更换设备,不光数据不能同步,这些设备的成本也是无法预计的,所以这个时候就需要代理 IP 了。以亿牛云 (https://www.16yun.cn/) 代理为例,代理 IP python 的使用 .

                                                            

亿牛云官网提供了两种模式的代理使用方式

1. 优质 API 代理:通过 api 连接获取代理信息,返回的是 ip 和端口。     

2. 动态转发隧道代理:接入固定代理服务器,动态转发请求,无须切换 IP ,连接上代理服务器后,每一个请求都是一个随机 IP ,按照每秒的请求量进行收费。

 1 先获取 api 连接

在后台直接把代理连接拷贝到程序里面

import requests

# 生成的 API 链接

url = 'http://http://ip.16yun.cn:817/myip/pl/111bad2b-7bc5-4903b-82d1-9a700fa132685/?s=gduffcpucm&u=dadada12

resp = requests.get(url=url)

if resp.status_code == 200:

    data_json = resp.text

    for d in data_json['msg']:

        port = d['port']

        ip = d['ip']

        full_ip = ip + ':' + port

        print(full_ip)

程序配置好后直接启动程序就可以获取代理ip ,然后把代理 ip 拼到请求参数里面就可以进行数据采集了。

推荐阅读:
  1. Python爬虫设置代理IP(图文)
  2. Python爬虫如何避免频繁访问

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

ip python 代理

上一篇:虚拟机上学习Linux运维?学linux有什么用

下一篇:Oracle的temp表空间被占满

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》