Python爬虫Requests库如何使用

在Python中，Requests库是一个非常流行的HTTP库，用于发送HTTP请求。它简化了与Web服务的交互，使得发送HTTP请求变得非常简单和直观。本文将介绍如何使用Requests库进行基本的HTTP请求操作，包括GET、POST请求，以及如何处理响应。

安装Requests库

在开始使用Requests库之前，首先需要确保它已经安装在你的Python环境中。你可以使用pip来安装它：

pip install requests

发送GET请求

GET请求是最常见的HTTP请求类型，通常用于从服务器获取数据。使用Requests库发送GET请求非常简单：

import requests

# 发送GET请求
response = requests.get('https://api.github.com')

# 打印响应状态码
print(response.status_code)

# 打印响应内容
print(response.text)

在上面的代码中，我们向GitHub的API发送了一个GET请求，并打印了响应的状态码和内容。

处理响应

Requests库的响应对象包含了服务器返回的所有信息。以下是一些常用的属性和方法：

• response.status_code：响应的HTTP状态码（例如200表示成功，404表示未找到）。
• response.text：响应的内容，通常是字符串形式。
• response.json()：如果响应内容是JSON格式，可以使用此方法将其解析为Python字典。
• response.headers：响应头信息，以字典形式返回。

例如，我们可以将GitHub API的响应内容解析为JSON：

import requests

response = requests.get('https://api.github.com')

# 将响应内容解析为JSON
data = response.json()

# 打印解析后的数据
print(data)

发送POST请求

POST请求通常用于向服务器提交数据。使用Requests库发送POST请求也非常简单：

import requests

# 要提交的数据
payload = {'key1': 'value1', 'key2': 'value2'}

# 发送POST请求
response = requests.post('https://httpbin.org/post', data=payload)

# 打印响应内容
print(response.text)

在上面的代码中，我们向https://httpbin.org/post发送了一个POST请求，并提交了一些数据。服务器返回的响应内容包含了我们提交的数据。

发送JSON数据

如果你需要发送JSON格式的数据，可以使用json参数：

import requests

# 要提交的JSON数据
payload = {'key1': 'value1', 'key2': 'value2'}

# 发送POST请求，提交JSON数据
response = requests.post('https://httpbin.org/post', json=payload)

# 打印响应内容
print(response.text)

处理请求头

有时，你可能需要在请求中添加自定义的HTTP头。你可以通过headers参数来实现：

import requests

# 自定义请求头
headers = {
    'User-Agent': 'MyApp/1.0',
    'Authorization': 'Bearer YOUR_ACCESS_TOKEN'
}

# 发送带有自定义头的GET请求
response = requests.get('https://api.github.com', headers=headers)

# 打印响应内容
print(response.text)

处理超时

为了防止请求长时间挂起，你可以设置请求的超时时间：

import requests

try:
    # 设置超时时间为5秒
    response = requests.get('https://api.github.com', timeout=5)
    print(response.text)
except requests.Timeout:
    print("请求超时")

处理异常

在实际应用中，网络请求可能会遇到各种问题，如连接错误、超时等。Requests库提供了异常处理机制，可以帮助你更好地处理这些情况：

import requests

try:
    response = requests.get('https://api.github.com', timeout=5)
    response.raise_for_status()  # 如果响应状态码不是200，抛出异常
except requests.exceptions.HTTPError as errh:
    print(f"HTTP错误: {errh}")
except requests.exceptions.ConnectionError as errc:
    print(f"连接错误: {errc}")
except requests.exceptions.Timeout as errt:
    print(f"超时错误: {errt}")
except requests.exceptions.RequestException as err:
    print(f"请求错误: {err}")

总结

Requests库是Python中用于发送HTTP请求的强大工具。通过本文的介绍，你应该已经掌握了如何使用Requests库发送GET和POST请求，处理响应，设置请求头，处理超时和异常等基本操作。希望这些内容能帮助你在实际项目中更好地使用Requests库进行网络爬虫开发。