您好,登录后才能下订单哦!
密码登录
登录注册
点击 登录注册 即表示同意《亿速云用户服务条款》
小编给大家分享一下怎么用scrapy过滤python爬虫中的多余内容,希望大家阅读完这篇文章后大所收获,下面让我们一起去探讨吧!
在分析之前,先看一下scrapy的去重策略:
scrapy通过request_fingerprint函数,对Request对象生成指纹,看注释:
# 该函数在scrapy/utils/request.py文件中 def request_fingerprint(request, include_headers=None): if include_headers: include_headers = tuple(to_bytes(h.lower()) for h in sorted(include_headers)) cache = _fingerprint_cache.setdefault(request, {}) if include_headers not in cache: fp = hashlib.sha1() """计算指纹时,请求方法(如GET、POST)被计算在内""" fp.update(to_bytes(request.method)) """下面这句有意思,canonicalize_url()将url规范化,意味着 http://www.example.com/query?id=111&cat=222 http://www.example.com/query?cat=222&id=111 这样参数位置变化,但参数值不变的网址,表示的仍是同一个网址,符合现实逻辑。 """ fp.update(to_bytes(canonicalize_url(request.url))) """request.body的属性是字符串: 一般GET方法的body为空字符串,不考虑; 而POST方法要上传一个字典data(类型是dict), 要经过urllib.parse.urlencode()函数转换后才能变成request.body """ fp.update(request.body or b'') if include_headers: for hdr in include_headers: if hdr in request.headers: fp.update(hdr) for v in request.headers.getlist(hdr): fp.update(v) cache[include_headers] = fp.hexdigest() return cache[include_headers] """我们甚至可以根据需求将request.meta的内容作为指纹计算的一部分"""
scrapy生成的唯一指纹,存在内存的一个集合里,即set。如果下一次请求产生的指纹在这个set里面,请求被判定为重复,这次请求就被忽略,也就是所谓的去重了。从上面可以可出,scrapy认为,如果url/POST data/method都一致,这个请求就是重复的,这适合绝大多数情况。
需要提一下:上述的处理方式,意味着想要变更request的指纹就要改变request,即是在downloaderMiddleware的process_request方法中变更。
看完了这篇文章,相信你对怎么用scrapy过滤python爬虫中的多余内容有了一定的了解,想了解更多相关知识,欢迎关注亿速云行业资讯频道,感谢各位的阅读!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。