时隔五年,Scrapyd 终于原生支持 basic auth

发布时间:2020-08-09 23:33:18 作者:my8100
来源:网络 阅读:668

Issue in 2014

scrapy/scrapyd/issues/43
时隔五年,Scrapyd 终于原生支持 basic auth

Pull request in 2019

scrapy/scrapyd/pull/326
时隔五年,Scrapyd 终于原生支持 basic auth

试用

  1. 安装

    pip install -U git+https://github.com/my8100/scrapyd.git@add_basic_auth
  2. 更新配置文件 scrapyd.conf,其余配置项详见官方文档

    [scrapyd]
    username = yourusername
    password = yourpassword
  3. 启动:scrapyd
In [1]: import requests

In [2]: requests.get('http://127.0.0.1:6800/').status_code
Out[2]: 401

In [3]: requests.get('http://127.0.0.1:6800/', auth=('admin', 'admin')).status_code
Out[3]: 401

In [4]: requests.get('http://127.0.0.1:6800/', auth=('yourusername', 'yourpassword')).status_code
Out[4]: 200
  1. 由于 Scrapyd 的 GitHub 最新提交已经重构了 Jobs 页面,如果正在使用 ScrapydWeb 管理 Scrapyd,则需同步更新 ScrapydWeb:
    pip install -U git+https://github.com/my8100/scrapydweb.git

GitHub

my8100/scrapyd

推荐阅读:
  1. 2015年Objective-C有哪些新功能?
  2. 【N版】openstack——计算服务nova(五)

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

scrapy scrapyd 爬虫

上一篇:Oracle RAC+DG环境搭建(CentOS 7+Oracle 12C)(五)配置共享存储

下一篇:iis6解析漏洞

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》