Python爬虫user agent如何检测 - 问答

在Python中，您可以使用requests库来发送HTTP请求并获取响应。为了模拟不同的浏览器访问，您可以在请求头中设置User-Agent。以下是一个简单的示例：

import requests

url = 'https://www.example.com'

# 常见的User-Agent列表
user_agents = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0',
    'Mozilla/5.0 (Windows NT 6.1; Trident/7.0; AS; rv:11.0) like Gecko',
    'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; AS; rv:11.0) like Gecko',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134',
]

# 随机选择一个User-Agent
headers = {'User-Agent': user_agents[random.randint(0, len(user_agents) - 1)]}

response = requests.get(url, headers=headers)

print(response.text)

在这个示例中，我们首先导入requests库，然后定义一个URL和一个包含多个User-Agent的列表。接下来，我们从列表中随机选择一个User-Agent并将其添加到请求头中。最后，我们使用带有自定义User-Agent的请求头发送GET请求，并打印响应内容。

请注意，这个示例仅用于演示目的。在实际应用中，您可能需要根据目标网站的要求和检测需求来选择合适的User-Agent。此外，您还可以使用第三方库（如fake_useragent）来生成随机的User-Agent。

0 赞

0 踩