怎么在python中使用scrapy框架模拟登录

本篇文章给大家分享的是有关怎么在python中使用scrapy框架模拟登录，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。

# -*- coding: utf-8 -*-
import scrapy
from scrapy import FormRequest,Request
class ExampleLoginSpider(scrapy.Spider):
  name = "login_"
  allowed_domains = ["example.webscraping.com"]
  start_urls = ['http://example.webscraping.com/user/profile']
  login_url = 'http://example.webscraping.com/places/default/user/login'
  def parse(self, response):
    print(response.text)
  def start_requests(self):
    yield scrapy.Request(self.login_url,callback=self.login)
  def login(self,response):
    formdata = {
      'email':'liushuo@webscraping.com','password':'12345678'}
    yield FormRequest.from_response(response,formdata=formdata,
                    callback=self.parse_login)
  def parse_login(self,response):
    # print('>>>>>>>>'+response.text)
    if 'Welcome Liu' in response.text:
      yield from super().start_requests()

有的同学可能问了，login方法里面不是应该写reture 么，其实上面的写法跟下面的这种写法是一样效果，如果再有个CSRF的话，也可以直接在login里面写拿到CSRF信息，写入到formdata里面跟用户名和密码一起提交。

复制代码 代码如下:

return [FormRequest.from_response(response,formdata=formdata,callback=self.parse_login)]

登录成功

三、传统登录方法：

1、首先要明确一件事情，一般情况下需要登录的网站，不只需要登录用户和密码，接下来我们聊聊上面说的传统登录模式。用户在登录的时候并不是只需要登录账户信息，除了常见直观的验证码和CSRF信息外，也有可能需要提交其它信息，我们必须把它们都提取到一起提交给服务器。

2、我们在form表单下面找到了一个display:none的div标签，里面的input标签的value值正好是我们要提交的数据，那我们就提取到他。

以上就是怎么在python中使用scrapy框架模拟登录，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注亿速云行业资讯频道。