python中scrapy爬虫如何存储抓取数据 - 问答

在Python的Scrapy框架中，您可以使用内置的存储方法将抓取到的数据保存到不同的格式和存储介质中。以下是一些建议：

保存到文件：您可以使用Python的文件I/O操作将抓取到的数据保存到本地文件。例如，将数据保存为JSON文件：

import json

class MySpider(scrapy.Spider):
    # ...其他代码...

    def parse(self, response):
        item = MyItem()
        # ...解析逻辑...
        item_json = json.dumps(dict(item))
        with open('output.json', 'a') as f:
            f.write(item_json + '\n')

保存到数据库： Scrapy可以与多种数据库进行集成，例如MySQL、PostgreSQL、MongoDB等。首先，您需要安装相应的数据库驱动程序，然后使用Scrapy的ItemPipeline将数据保存到数据库中。

例如，将数据保存到MongoDB：

首先，安装pymongo库：

pip install pymongo

然后，在settings.py中启用ItemPipeline：

ITEM_PIPELINES = {
    'myproject.pipelines.MyProjectPipeline': 300,
}

接下来，创建一个名为pipelines.py的文件，并实现MyProjectPipeline类：

import pymongo
from scrapy.exceptions import DropItem

class MyProjectPipeline(object):
    def __init__(self):
        self.client = pymongo.MongoClient("mongodb://localhost:27017/")
        self.db = self.client["my_database"]
        self.collection = self.db["my_collection"]

    def process_item(self, item, spider):
        if not item:
            raise DropItem("Invalid item")
        self.collection.insert_one(dict(item))
        return item

保存到CSV文件：您可以使用Python的csv库将抓取到的数据保存到CSV文件中。例如：

import csv

class MySpider(scrapy.Spider):
    # ...其他代码...

    def parse(self, response):
        item = MyItem()
        # ...解析逻辑...
        with open('output.csv', 'a', newline='') as csvfile:
            fieldnames = ['field1', 'field2', 'field3']
            writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
            writer.writerow(dict(item))

这些方法可以帮助您将Scrapy爬虫抓取到的数据存储到不同的格式和存储介质中。您可以根据自己的需求选择合适的方法。

0 赞

0 踩