在Python的requests库中实现重试机制,可以使用requests.adapters
模块中的HTTPAdapter
类结合urllib3
的Retry
类。以下是一个简单的示例,展示了如何为requests请求设置重试机制:
首先,确保已经安装了requests库。如果没有安装,可以使用以下命令安装:
pip install requests
然后,编写一个带有重试机制的爬虫:
import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry
def requests_retry(retries=3, backoff_factor=0.3, status_forcelist=(500, 502, 504), session=None):
session = session or requests.Session()
retry = Retry(
total=retries,
read=retries,
connect=retries,
backoff_factor=backoff_factor,
status_forcelist=status_forcelist,
)
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://', adapter)
return session
url = 'https://example.com'
with requests_retry() as session:
response = session.get(url)
print(response.status_code)
print(response.text)
在这个示例中,我们定义了一个名为requests_retry
的函数,该函数接受以下参数:
retries
:重试次数,默认为3次。backoff_factor
:指数补偿因子,用于计算等待时间,默认为0.3秒。status_forcelist
:强制重试的状态码列表,默认为(500, 502, 504)。session
:可选参数,用于传入一个已经存在的requests.Session对象。在函数内部,我们创建了一个urllib3.util.retry.Retry
对象,并设置了相关参数。然后,我们创建了一个HTTPAdapter
对象,将重试策略应用到该适配器上。最后,我们将适配器安装到session对象上,并返回session对象。
在主程序中,我们使用requests_retry()
函数创建一个带有重试机制的session对象,并使用该session对象发起GET请求。如果请求失败,将会自动重试指定的次数。