python分布式爬虫中的scrapy-redis是不是属于新框架

这篇文章主要介绍python分布式爬虫中的scrapy-redis是不是属于新框架，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

安装：

pip install scrapy-redis

scrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在：

•  请求对象的持久化

• 去重的持久化

• 实现分布式

scrapy-redis只是替换了redis的几个组件，不是一个新的框架。

scrapy_redis的流程

• 在scrapy_redis中，所有的带抓取的对象和去重的指纹都存在所有的服务器公用的redis中

• 所有的服务器共用一个redis中的request对象

• 所有的request对象存入redis前，都会在同一个redis中进行判断，之前是否已经存入过

• 在默认情况下所有的数据会保存在redis中

以上是“python分布式爬虫中的scrapy-redis是不是属于新框架”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注亿速云行业资讯频道！