Scrapy框架对接selenium怎样进行模拟知乎登录

Scrapy框架对接selenium怎样进行模拟知乎登录，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

概要：之前写了scrapy的基础，准备尝试模拟知乎登录，并爬取问答。

但是发现知乎已经做了更新，对参数做了加密处理，身为小白的我只好试试selenium，本篇文章我们来了解scrapy框架如何对接selenium。

1、新建项目

新建项目，以及基本的操作在上一篇文章应该都有了解，如果现在还不了解，

这里献上链接：爬虫框架Scrapy的安装与基本使用

2、模拟知乎登录

首先需要在seetings.py中将ROBOTSTXT_OBEY = True修改为ROBOTSTXT_OBEY = False，ROBOTSTXT_OBEY 可以说是君子协议吧，我们修改成False，否则不能爬取。

然后再spider写下如下代码：

对于selenium不了解的可以查看：selenium的使用（有点意思）

3、运行

这里教大家一个小技巧

我们在项目下创建一个main文件写下如下代码：

即可。

这样我们就不用每次在黑窗口下运行，很麻烦。

这次只是简单的写了下selenium在scrapy框架中运用，没有用到什么新知识。

关于Scrapy框架对接selenium怎样进行模拟知乎登录问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注亿速云行业资讯频道了解更多相关知识。