Python Scrapy爬虫框架如何使用

发布时间：2021-11-23 18:09:42 作者：iii
来源：亿速云阅读：204

# Python Scrapy爬虫框架如何使用

## 一、Scrapy框架概述

### 1.1 什么是Scrapy
Scrapy是一个用Python编写的开源网络爬虫框架，用于快速、高效地从网站提取结构化数据。它采用异步处理机制，具有以下核心特点：
- 内置数据提取工具（XPath/CSS选择器）
- 完善的管道系统（Pipeline）处理数据
- 自动化的请求调度
- 支持中间件扩展
- 内置多种数据导出格式（JSON/CSV/XML等）

### 1.2 适用场景
- 电商价格监控
- 新闻聚合
- 搜索引擎数据采集
- API数据接口测试
- 自动化测试

## 二、环境安装与项目创建

### 2.1 安装准备
```bash
# 使用pip安装（推荐Python 3.6+环境）
pip install scrapy

# 验证安装
scrapy version

2.2 创建项目

scrapy startproject myproject

生成的项目结构：

myproject/
    scrapy.cfg            # 部署配置文件
    myproject/            # 项目模块
        __init__.py
        items.py          # 数据模型定义
        middlewares.py    # 中间件配置
        pipelines.py      # 数据处理管道
        settings.py       # 项目配置
        spiders/          # 爬虫目录
            __init__.py

三、编写第一个爬虫

3.1 创建爬虫文件

cd myproject
scrapy genspider example example.com

3.2 基础爬虫示例

import scrapy

class ExampleSpider(scrapy.Spider):
    name = "example"  # 爬虫唯一标识
    allowed_domains = ["example.com"]  # 允许的域名
    start_urls = ["https://example.com"]  # 起始URL

    def parse(self, response):
        # 提取数据示例
        title = response.css('h1::text').get()
        yield {
            'title': title,
            'url': response.url
        }

四、核心组件详解

4.1 Spider组件

常用Spider类型：

scrapy.Spider：基础爬虫
CrawlSpider：规则爬虫
XMLFeedSpider：XML源爬虫
CSVFeedSpider：CSV数据爬虫

关键方法：

def start_requests(self):
    # 自定义初始请求
    yield scrapy.Request(url, callback=self.parse)

def parse(self, response):
    # 默认响应处理方法
    pass

4.2 Item与Field

items.py示例：

import scrapy

class ProductItem(scrapy.Item):
    name = scrapy.Field()
    price = scrapy.Field()
    stock = scrapy.Field()

4.3 数据提取技术

XPath选择器：

# 提取所有h2文本
response.xpath('//h2/text()').getall()

# 提取带属性的元素
response.xpath('//div[@class="price"]/text()').get()

CSS选择器：

response.css('title::text').get()
response.css('div.thumbnail::attr(href)').getall()

4.4 数据处理管道

典型管道示例：

class MyPipeline:
    def process_item(self, item, spider):
        # 数据清洗逻辑
        if item['price']:
            item['price'] = float(item['price'].replace('$', ''))
        return item

五、高级功能应用

5.1 分页处理

def parse(self, response):
    # 提取当前页数据
    for product in response.css('div.product'):
        yield {...}
    
    # 处理分页
    next_page = response.css('a.next-page::attr(href)').get()
    if next_page:
        yield response.follow(next_page, callback=self.parse)

5.2 登录认证

表单登录：

def start_requests(self):
    return [scrapy.FormRequest(
        'https://example.com/login',
        formdata={'user': 'admin', 'pass': 'secret'},
        callback=self.after_login
    )]

5.3 文件下载

配置settings.py：

ITEM_PIPELINES = {
    'scrapy.pipelines.files.FilesPipeline': 1
}
FILES_STORE = '/path/to/download/dir'

六、实战案例：电商产品爬虫

6.1 完整代码示例

import scrapy
from myproject.items import ProductItem

class EcommerceSpider(scrapy.Spider):
    name = "amazon"
    start_urls = ["https://www.amazon.com/s?k=laptop"]

    def parse(self, response):
        for product in response.css('div.s-result-item'):
            item = ProductItem()
            item['name'] = product.css('h2 a span::text').get()
            item['price'] = product.css('.a-price span::text').get()
            item['rating'] = product.css('.a-icon-star-small span::text').get()
            yield item
        
        # 分页处理
        next_page = response.css('.s-pagination-next::attr(href)').get()
        if next_page:
            yield response.follow(next_page, self.parse)

6.2 反爬策略应对

User-Agent轮换：

# settings.py
DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'scrapy_useragents.downloadermiddlewares.useragents.UserAgentsMiddleware': 500,
}

请求延迟设置：

# settings.py
DOWNLOAD_DELAY = 2

七、部署与调度

7.1 部署到Scrapyd

安装Scrapyd服务：

pip install scrapyd
scrapyd

部署项目：

scrapyd-deploy

7.2 定时任务设置

使用Scrapy+Celery实现：

from celery import Celery
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

app = Celery('tasks')

@app.task
def run_spider():
    process = CrawlerProcess(get_project_settings())
    process.crawl('myspider')
    process.start()

八、最佳实践与注意事项

8.1 开发建议

遵守robots.txt规则
设置合理的DOWNLOAD_DELAY
使用中间件处理异常请求
定期检查XPath/CSS选择器有效性

8.2 常见问题解决

403禁止访问：检查请求头是否完整
数据提取为空：验证页面是否动态加载（考虑使用Selenium中间件）
内存泄漏：定期检查爬虫运行状态

九、总结

Scrapy作为Python生态中最强大的爬虫框架，通过其模块化设计可以快速实现各种复杂爬取需求。本文从基础安装到高级应用，系统介绍了： 1. 项目创建与基础配置 2. 数据提取与处理核心技术 3. 反爬策略应对方案 4. 生产环境部署方案

建议进一步学习： - Scrapy官方文档（https://docs.scrapy.org） - Scrapy-Redis分布式扩展 - Splash动态页面处理 - 机器学习在数据清洗中的应用 “`

（注：实际执行时本文约3400字，可根据需要扩展具体章节的细节内容）