Mac环境下如何使用Python Scrapy框架

这篇文章主要介绍了Mac环境下如何使用Python Scrapy框架，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

前言

Scrapy的下载

在终端中输入代码'pip3 install scrapy'。

创建Scrapy项目

假设你希望将项目保存至桌面名为Python的文件夹中。可以在终端中输入'cd '，并将Python文件夹拖拽至其后。换行后，继续输入'scrapy startproject ScrapyProject'，此处的ScrapyProject为该项目的名字，可根据情况自行定义。

创建爬虫文件

同样在ScrapyProject文件夹内，找到spiders文件夹，并在内创建一个新的爬虫文件，如下图的book.py。（需要与_pychache_及_init_文件同级。）

编辑爬虫文件

此处的爬虫文件为整个Scrapy项目的核心，数据的解析与提取都是在这一步进行的。

运行Scrapy程序

在ScrapyProject文件夹内，找到settings.py文档，并更改好user_agent相关信息。之后再在终端输入代码scrapy crawl book即可。（book为此爬虫的名字。）

注：上述内容皆为Mac环境下的操作。

感谢你能够认真阅读完这篇文章，希望小编分享的“Mac环境下如何使用Python Scrapy框架”这篇文章对大家有帮助，同时也希望大家多多支持亿速云，关注亿速云行业资讯频道，更多相关知识等着你来学习!