如何进行反爬机制中的封ip处理

发布时间:2022-01-04 17:23:17 作者:柒染
来源:亿速云 阅读:125

如何进行反爬机制中的封ip处理,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

 作为爬虫我们的都知道很多网站都有反爬措施阻止别人来爬取数据,而封ip是反爬策略中最常见的一种。通常他们的策略都是发现你在短时间内过多的访问就会把你的ip封禁,针对这个策略要解决其实个很简单,我们可以通过限制访问网站的频率或添加IP代理池就OK了。而在爬虫程序中我们就只需要添加代理就可以搞定了,比如以示例

#! -*- encoding:utf-8 -*-



       import requests

       import random



       # 要访问的目标页面

       targetUrl = "http://www.weibo.com"



       # 要访问的目标HTTPS页面

       # targetUrl = "https://www.weibo.com"



       # 代理服务器(产品官网 www.16yun.cn)

       proxyHost = "t.16yun.cn"

       proxyPort = "31111"



       # 代理隧道验证信息

       proxyUser = "16VIZRXL"

       proxyPass = "125478"



       proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {

           "host" : proxyHost,

           "port" : proxyPort,

           "user" : proxyUser,

           "pass" : proxyPass,

       }



       # 设置 http和https访问都是用HTTP代理

       proxies = {

           "http"  : proxyMeta,

           "https" : proxyMeta,

       }



       #  设置IP切换头

       tunnel = random.randint(1,10000)

       headers = {"Proxy-Tunnel": str(tunnel)}



       resp = requests.get(targetUrl, proxies=proxies, headers=headers)



       print resp.status_code

       print resp.text

关于如何进行反爬机制中的封ip处理问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注亿速云行业资讯频道了解更多相关知识。

推荐阅读:
  1. python如何实现反爬
  2. web开发中的反爬技术有哪些

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

ip

上一篇:Spring Security核心配置有哪些

下一篇:JS的script标签属性有哪些

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》