python爬虫scrapy如何用 - 问答

Scrapy是一个强大的Python爬虫框架，用于从网站上抓取数据。要开始使用Scrapy，请按照以下步骤操作：

安装Scrapy：在命令行中输入以下命令以安装Scrapy：
```
pip install scrapy
```
创建一个新的Scrapy项目：在命令行中，导航到您希望创建项目的目录，然后输入以下命令：
```
scrapy startproject my_project
```
这将创建一个名为my_project的新Scrapy项目。您可以将my_project替换为您喜欢的项目名称。
创建一个新的爬虫：在项目目录中，输入以下命令以创建一个名为my_spider的新爬虫：
```
cd my_project
scrapy genspider my_spider example.com
```
这将创建一个名为my_spider的新爬虫，并将其配置为从example.com抓取数据。您可以将my_spider和example.com替换为您喜欢的爬虫名称和目标网站。

编辑爬虫文件：打开my_project/spiders/my_spider.py文件并编辑它。以下是一个简单的爬虫示例：

import scrapy

class MySpider(scrapy.Spider):
    name = 'my_spider'
    start_urls = ['http://example.com/']

    def parse(self, response):
        self.log('Visited %s' % response.url)
        for quote in response.css('div.quote'):
            item = {
                'author_name': quote.css('span.text::text').extract_first(),
                'author_url': quote.xpath('span/small/a/@href').extract_first(),
            }
            yield item
        next_page = response.css('li.next a::attr(href)').extract_first()
        if next_page is not None:
            yield scrapy.Request(url=response.urljoin(next_page), callback=self.parse)

这个爬虫从example.com抓取引用，并将作者的名字和URL存储在item中。然后，它递归地访问下一页以继续抓取更多引用。

运行爬虫：在项目目录中，输入以下命令以运行爬虫：
```
scrapy crawl my_spider
```
这将启动爬虫并开始从目标网站抓取数据。您可以使用scrapy crawl命令运行其他爬虫，只需将my_spider替换为您要运行的爬虫名称即可。
保存数据： Scrapy默认将抓取的数据保存到名为items.json的文件中。您还可以将数据保存到其他文件格式，例如CSV或XML。要指定输出文件，请在运行爬虫时使用-o选项，如下所示：
```
scrapy crawl my_spider -o output.json
```

这只是Scrapy的基本用法。Scrapy还提供了许多高级功能，如中间件、管道、选择器等，以帮助您更有效地抓取和处理数据。要了解更多关于Scrapy的信息，请参阅官方文档：https://docs.scrapy.org/

0 赞

0 踩