python爬虫网页怎样设置请求头

在Python中，你可以使用requests库来发送HTTP请求并设置请求头。以下是一个简单的示例，展示了如何设置请求头：

首先，确保你已经安装了requests库。如果没有安装，可以使用以下命令安装：

pip install requests

然后，你可以使用以下代码来发送带有自定义请求头的HTTP请求：

import requests

url = 'https://example.com'  # 替换为你想要爬取的网页URL
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Connection': 'keep-alive',
    # 其他你需要的请求头
}

response = requests.get(url, headers=headers)

if response.status_code == 200:
    print(response.text)
else:
    print(f'请求失败，状态码：{response.status_code}')

在这个示例中，我们设置了一些常见的请求头，如User-Agent、Accept、Accept-Language和Connection。你可以根据需要添加或修改这些请求头。