Python爬虫user agent如何随机切换 - 问答

在Python中，你可以使用random库来随机选择一个User-Agent。以下是一个简单的示例，展示了如何在爬虫中随机切换User-Agent：

首先，确保已经安装了requests库。如果没有安装，可以使用以下命令安装：

pip install requests

然后，创建一个包含多个User-Agent的列表，并使用random.choice()函数随机选择一个User-Agent：

import random
import requests

user_agents = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0',
    'Mozilla/5.0 (Windows NT 6.1; Trident/7.0; AS; rv:11.0) like Gecko',
    'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; AS; rv:11.0) like Gecko',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36',
]

def get_random_user_agent():
    return random.choice(user_agents)

url = 'https://example.com'
headers = {'User-Agent': get_random_user_agent()}

response = requests.get(url, headers=headers)
print(response.text)

在这个示例中，我们首先导入random和requests库。然后，我们创建一个包含多个User-Agent的列表user_agents。接下来，我们定义了一个名为get_random_user_agent的函数，该函数从user_agents列表中随机选择一个User-Agent。

在爬虫的主要部分，我们定义了要访问的URL和要发送的请求头（其中包含随机选择的User-Agent）。最后，我们使用requests.get()函数发送请求并打印响应内容。

0 赞

0 踩