如何免费创建云端爬虫集群

发布时间:2020-07-24 02:16:40 作者:my8100
来源:网络 阅读:627

在线体验

scrapydweb.herokuapp.com

网络拓扑图

如何免费创建云端爬虫集群

注册帐号

  1. Heroku

访问 heroku.com 注册免费账号(注册页面需要调用 google recaptcha 人机验证,登录页面也需要科学地进行上网,访问 app 运行页面则没有该问题),免费账号最多可以创建和运行5个 app

如何免费创建云端爬虫集群

  1. Redis Labs(可选)

访问 redislabs.com 注册免费账号,提供30MB 存储空间,用于下文通过 scrapy-redis 实现分布式爬虫

如何免费创建云端爬虫集群

通过浏览器部署 Heroku app

  1. 访问 my8100/scrapyd-cluster-on-heroku-scrapyd-app 一键部署 Scrapyd app。(注意更新页面表单中 Redis 服务器的主机,端口和密码)
  2. 重复第1步完成4个 Scrapyd app 的部署,假设应用名称为 svr-1, svr-2, svr-3svr-4
  3. 访问 my8100/scrapyd-cluster-on-heroku-scrapydweb-app 一键部署 ScrapydWeb app,取名 myscrapydweb
  4. (可选)点击 dashboard.heroku.com/apps/myscrapydweb/settings 页面中的 Reveal Config Vars 按钮相应添加更多 Scrapyd server,例如 KEY 为 SCRAPYD_SERVER_2, VALUE 为 svr-2.herokuapp.com:80#group2
  5. 访问 myscrapydweb.herokuapp.com
  6. 跳转 部署和运行分布式爬虫 章节继续阅读。

自定义部署

安装工具

  1. Git
  2. Heroku CLI
  3. Python client for Redis:运行 pip install redis 命令即可。

下载配置文件

新开一个命令行提示符:

git clone https://github.com/my8100/scrapyd-cluster-on-heroku
cd scrapyd-cluster-on-heroku

登录 Heroku

heroku login
# outputs:
# heroku: Press any key to open up the browser to login or q to exit:
# Opening browser to https://cli-auth.heroku.com/auth/browser/12345-abcde
# Logging in... done
# Logged in as username@gmail.com

创建 Scrapyd 集群

  1. 新建 Git 仓库

    cd scrapyd
    git init
    # explore and update the files if needed
    git status
    git add .
    git commit -a -m "first commit"
    git status
  2. 部署 Scrapyd app

    heroku apps:create svr-1
    heroku git:remote -a svr-1
    git remote -v
    git push heroku master
    heroku logs --tail
    # Press ctrl+c to stop logs outputting
    # Visit https://svr-1.herokuapp.com
  3. 添加环境变量

    • 设置时区
      # python -c "import tzlocal; print(tzlocal.get_localzone())"
      heroku config:set TZ=Asia/Shanghai
      # heroku config:get TZ
    • 添加 Redis 账号(可选,详见 scrapy_redis_demo_project.zip 中的 settings.py
      heroku config:set REDIS_HOST=your-redis-host
      heroku config:set REDIS_PORT=your-redis-port
      heroku config:set REDIS_PASSWORD=your-redis-password
  4. 重复上述第2步和第3步完成余下三个 Scrapyd app 的部署和配置:svr-2svr-3svr-4

创建 ScrapydWeb app

  1. 新建 Git 仓库

    cd ..
    cd scrapydweb
    git init
    # explore and update the files if needed
    git status
    git add .
    git commit -a -m "first commit"
    git status
  2. 部署 ScrapydWeb app

    heroku apps:create myscrapydweb
    heroku git:remote -a myscrapydweb
    git remote -v
    git push heroku master
  3. 添加环境变量

    • 设置时区
      heroku config:set TZ=Asia/Shanghai
    • 添加 Scrapyd server(详见 scrapydweb 目录下的 scrapydweb_settings_v8.py
      heroku config:set SCRAPYD_SERVER_1=svr-1.herokuapp.com:80
      heroku config:set SCRAPYD_SERVER_2=svr-2.herokuapp.com:80#group1
      heroku config:set SCRAPYD_SERVER_3=svr-3.herokuapp.com:80#group1
      heroku config:set SCRAPYD_SERVER_4=svr-4.herokuapp.com:80#group2
  4. 访问 myscrapydweb.herokuapp.com
    如何免费创建云端爬虫集群

部署和运行分布式爬虫

  1. 上传 demo 项目,即 scrapyd-cluster-on-heroku 目录下的压缩文档 scrapy_redis_demo_project.zip
  2. 将种子请求推入 mycrawler:start_urls 触发爬虫并查看结果
In [1]: import redis  # pip install redis

In [2]: r = redis.Redis(host='your-redis-host', port=your-redis-port, password='your-redis-password')

In [3]: r.delete('mycrawler_redis:requests', 'mycrawler_redis:dupefilter', 'mycrawler_redis:items')
Out[3]: 0

In [4]: r.lpush('mycrawler:start_urls', 'http://books.toscrape.com', 'http://quotes.toscrape.com')
Out[4]: 2

# wait for a minute
In [5]: r.lrange('mycrawler_redis:items', 0, 1)
Out[5]:
[b'{"url": "http://quotes.toscrape.com/", "title": "Quotes to Scrape", "hostname": "d6cf94d5-324e-4def-a1ab-e7ee2aaca45a", "crawled": "2019-04-02 03:42:37", "spider": "mycrawler_redis"}',
 b'{"url": "http://books.toscrape.com/index.html", "title": "All products | Books to Scrape - Sandbox", "hostname": "d6cf94d5-324e-4def-a1ab-e7ee2aaca45a", "crawled": "2019-04-02 03:42:37", "spider": "mycrawler_redis"}']

如何免费创建云端爬虫集群

总结

GitHub 开源

my8100/scrapyd-cluster-on-heroku

推荐阅读:
  1. proxmox创建集群
  2. 云端存储是什么

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

python scrapy scrapyd

上一篇:PL/SQL Developer结合oracle精简客户端配置说明

下一篇: Bugzilla提Bug

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》