python request爬虫如何进行数据存储

在Python中，使用requests库进行网络请求并将数据存储到文件或数据库中，可以通过以下步骤实现：

1. 安装requests库：

pip install requests

2. 导入所需的库：

import requests
import json

3. 发送HTTP请求并获取响应：

url = 'https://api.example.com/data'  # 替换为你要请求的URL
response = requests.get(url)

4. 检查响应状态码，确保请求成功：

if response.status_code == 200:
    data = response.json()  # 假设返回的数据是JSON格式
else:
    print(f"请求失败，状态码：{response.status_code}")

5. 将数据存储到文件中：

with open('output.json', 'w', encoding='utf-8') as file:
    json.dump(data, file, ensure_ascii=False, indent=4)

6. 将数据存储到数据库中（以SQLite为例）： 首先，安装sqlite3模块（Python内置）：

import sqlite3

然后，创建一个SQLite数据库连接：

conn = sqlite3.connect('output.db')
cursor = conn.cursor()

接着，创建一个表格来存储数据：

cursor.execute('''
CREATE TABLE IF NOT EXISTS data (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    key TEXT NOT NULL,
    value TEXT NOT NULL
)
''')

将数据插入到数据库中：

for item in data:
    cursor.execute("INSERT INTO data (key, value) VALUES (?, ?)", (item['key'], item['value']))

最后，提交更改并关闭数据库连接：

conn.commit()
conn.close()

这样，你就可以使用Python的requests库进行网络请求，并将获取到的数据存储到文件或数据库中了。