python爬虫中urllib库代理的设置方法

发布时间:2020-11-11 09:25:19 作者:小新
来源:亿速云 阅读:210

这篇文章给大家分享的是有关python爬虫中urllib库代理的设置方法的内容。小编觉得挺实用的,因此分享给大家做个参考。一起跟随小编过来看看吧。

关于urllib

urllib 库一般使用 ProxyHandler 设置代理,参数是字典类型,键名是协议。

urllib代理设置代码如下

from urllib.error import URLError
from urllib.request import ProxyHandler
from urllib.request import build_opener
 
# 通过ProxyHandler来设置代理服务器,参数为字典类型,键名为协议,键值为代理
proxy_handler = ProxyHandler({"http": "http://113.120.33.75:9999",
                              "https":"https://120.83.99.72:9999"})
 
# 创建一个opener对象,比openurl多了一个header
opener = build_opener(proxy_handler)
try:
    # 通过opener对象打开url
    response = opener.open("http://httpbin.org/get")
    print(response.read().decode("utf-8"))
except URLError as e:
print(e.reason)

结果会出现两种情况

[WinError 10061] 由于目标计算机积极拒绝,无法连接。
解决方法:主要是代理不可用,更换代理就行

[WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。  

解决方法:将浏览器的代理设置中的局域网设置,里面的自动配置脚本选项改为自动检测设置即可。

运行结果如下,可以看到origin已经改成了代理IP

{
  "args": {},
  "headers": {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3",
    "Accept-Encoding": "gzip, deflate",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Host": "httpbin.org",
    "Upgrade-Insecure-Requests": "1",
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"
  },
  "origin": "113.120.33.75, 113.120.33.75",
  "url": "https://httpbin.org/get"
}

感谢各位的阅读!关于python爬虫中urllib库代理的设置方法就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到吧!

推荐阅读:
  1. Python爬虫入门之 urllib库
  2. Python爬虫中urllib库有什么用

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

python python爬虫 urllib库

上一篇:python文件路径获取文件名的方法

下一篇:python爬虫urllib中的post怎样实现

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》