scrapy的spider传参如何实现增量

这篇文章主要介绍“scrapy的spider传参如何实现增量”的相关知识，小编通过实际案例向大家展示操作过程，操作方法简单快捷，实用性强，希望这篇“scrapy的spider传参如何实现增量”文章能帮助大家解决问题。

Spider参数通过 crawl 命令的 -a 选项来传递，比如：

scrapy crawl xxx -a augmenter=xxxxxx

注：augmenter=不为空

1.首先在spider里添加

注：在网上也看了不少的博客，最后发现*args, **kwargs这两个必须加上，要不然会出现bug，不信的话可以试试哦！

如果想减少代码量的话，可以写到类里面去继承！那这样的话，spider里面就不要在写了！！！要不然就不起作用了！！！

还有

super(eval(self.__class__.__name__), self).__init__(*args, **kwargs)

这里的eval()获取的是类名，这样写必须是最后一个是你要的类名，中间有继承什么的，就会出错！或者直接把类名粘过来！

2.spider实现方式：

这样就实现了简单的增量！增量的方式有很多，常见的：时间、计数、爬取特定的几页！

选择自己需要的增量方式写在这个parse_augmenter()里面。

关于“scrapy的spider传参如何实现增量”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识，可以关注亿速云行业资讯频道，小编每天都会为大家更新不同的知识点。