python爬虫request怎样处理异常 - 问答

在使用Python的requests库进行网络请求时，我们可能会遇到一些异常情况，如网络连接错误、超时、HTTP错误等。为了确保程序的健壮性，我们需要对这些异常进行处理。以下是一些建议：

使用try-except语句捕获异常：

在发起请求的代码块周围使用try-except语句，可以捕获可能发生的异常。例如：

import requests
from requests.exceptions import RequestException

url = "https://api.example.com/data"

try:
    response = requests.get(url, timeout=5)
    response.raise_for_status()  # 如果响应状态码不是200，将抛出HTTPError异常
except RequestException as e:
    print(f"请求发生异常：{e}")
else:
    # 处理正常响应的逻辑
    data = response.json()
    print(data)

使用requests库的异常处理函数：

requests库提供了一些内置的异常处理函数，如requests.exceptions.RequestException，可以捕获多种网络请求异常。在上面的示例中，我们已经使用了RequestException来捕获异常。

自定义异常类：

如果你需要处理特定类型的异常，可以创建自定义的异常类并继承自Exception基类。例如：

class CustomError(Exception):
    pass

try:
    # 你的代码逻辑
except CustomError as e:
    print(f"发生自定义错误：{e}")

使用第三方库tenacity进行重试机制：

tenacity库可以帮助你实现请求的重试机制，以应对临时的网络问题。首先，使用pip安装tenacity库：

pip install tenacity

然后，可以使用@tenacity.retry装饰器来实现重试逻辑：

import requests
from tenacity import retry, stop_after_attempt, wait_exponential
from requests.exceptions import RequestException

url = "https://api.example.com/data"

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
def make_request():
    response = requests.get(url, timeout=5)
    response.raise_for_status()
    return response

try:
    response = make_request()
    data = response.json()
    print(data)
except RequestException as e:
    print(f"请求发生异常：{e}")

在这个示例中，我们使用tenacity库的@retry装饰器来设置重试策略，当请求失败时会自动重试，最多重试3次，每次重试之间等待时间指数级增长，从4秒开始，最大不超过10秒。

0 赞

0 踩