python

python request爬虫如何进行重试机制

小樊
81
2024-12-11 08:45:18
栏目: 编程语言

在Python的requests库中实现重试机制,可以使用requests.adapters模块中的HTTPAdapter类结合urllib3Retry类。以下是一个简单的示例,展示了如何为requests请求设置重试机制:

首先,确保已经安装了requests库。如果没有安装,可以使用以下命令安装:

pip install requests

然后,编写一个带有重试机制的爬虫:

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

def requests_retry(retries=3, backoff_factor=0.3, status_forcelist=(500, 502, 504), session=None):
    session = session or requests.Session()
    retry = Retry(
        total=retries,
        read=retries,
        connect=retries,
        backoff_factor=backoff_factor,
        status_forcelist=status_forcelist,
    )
    adapter = HTTPAdapter(max_retries=retry)
    session.mount('http://', adapter)
    session.mount('https://', adapter)
    return session

url = 'https://example.com'

with requests_retry() as session:
    response = session.get(url)
    print(response.status_code)
    print(response.text)

在这个示例中,我们定义了一个名为requests_retry的函数,该函数接受以下参数:

在函数内部,我们创建了一个urllib3.util.retry.Retry对象,并设置了相关参数。然后,我们创建了一个HTTPAdapter对象,将重试策略应用到该适配器上。最后,我们将适配器安装到session对象上,并返回session对象。

在主程序中,我们使用requests_retry()函数创建一个带有重试机制的session对象,并使用该session对象发起GET请求。如果请求失败,将会自动重试指定的次数。

0
看了该问题的人还看了