Python中怎么使用requests获取网页

在Python中，requests库是一个非常流行的HTTP客户端库，它简化了与Web服务的交互过程。使用requests库，你可以轻松地发送HTTP请求并获取网页内容。本文将介绍如何使用requests库来获取网页内容。

安装requests库

在开始之前，你需要确保已经安装了requests库。如果还没有安装，可以使用以下命令进行安装：

pip install requests

发送GET请求

获取网页内容的最常见方式是发送一个HTTP GET请求。以下是一个简单的例子，展示了如何使用requests库发送GET请求并获取网页内容：

import requests

# 发送GET请求
response = requests.get('https://www.example.com')

# 检查请求是否成功
if response.status_code == 200:
    # 打印网页内容
    print(response.text)
else:
    print(f"Failed to retrieve the webpage. Status code: {response.status_code}")

在这个例子中，我们首先导入了requests库，然后使用requests.get()方法发送了一个GET请求到https://www.example.com。response对象包含了服务器返回的所有信息，包括状态码、响应头和响应体。

response.status_code属性表示HTTP状态码。状态码200表示请求成功，服务器返回了请求的资源。如果状态码不是200，说明请求可能出现了问题。

response.text属性包含了服务器返回的网页内容，通常是一个HTML文档。你可以将这个内容打印出来，或者进一步解析和处理。

处理响应头

除了网页内容，服务器还会返回一些响应头信息。你可以通过response.headers属性来访问这些信息：

import requests

response = requests.get('https://www.example.com')

# 打印所有响应头
for key, value in response.headers.items():
    print(f"{key}: {value}")

响应头包含了关于响应的元数据，例如内容类型、内容长度、服务器信息等。这些信息在某些情况下可能非常有用。

处理异常

在实际应用中，网络请求可能会因为各种原因失败，例如网络连接问题、服务器错误等。为了确保程序的健壮性，建议在处理请求时添加异常处理机制：

import requests

try:
    response = requests.get('https://www.example.com')
    response.raise_for_status()  # 如果状态码不是200，抛出异常
    print(response.text)
except requests.exceptions.HTTPError as errh:
    print(f"HTTP Error: {errh}")
except requests.exceptions.ConnectionError as errc:
    print(f"Error Connecting: {errc}")
except requests.exceptions.Timeout as errt:
    print(f"Timeout Error: {errt}")
except requests.exceptions.RequestException as err:
    print(f"Something went wrong: {err}")

在这个例子中，我们使用了response.raise_for_status()方法来检查状态码。如果状态码不是200，这个方法会抛出一个HTTPError异常。我们还捕获了其他可能的异常，例如连接错误、超时错误等。

总结

使用requests库获取网页内容非常简单。通过发送GET请求，你可以轻松地获取网页的HTML内容，并进一步处理这些内容。在实际应用中，记得添加异常处理机制，以确保程序的健壮性。希望本文能帮助你更好地理解如何使用requests库来获取网页内容。