Python怎么设置使用HTTP代理

在网络编程和数据抓取中，使用HTTP代理是一种常见的技术手段。代理服务器可以帮助我们隐藏真实的IP地址、绕过访问限制、提高访问速度等。Python作为一门强大的编程语言，提供了多种方式来设置和使用HTTP代理。本文将详细介绍如何在Python中设置和使用HTTP代理。

1. 使用requests库设置HTTP代理

requests是Python中最常用的HTTP库之一，它提供了简单易用的API来发送HTTP请求。通过requests库，我们可以轻松地设置HTTP代理。

1.1 基本用法

import requests

proxies = {
    "http": "http://10.10.1.10:3128",
    "https": "http://10.10.1.10:1080",
}

response = requests.get("http://example.com", proxies=proxies)
print(response.text)

在上面的代码中，我们定义了一个proxies字典，其中http和https分别指定了HTTP和HTTPS请求的代理服务器地址和端口。然后，我们通过requests.get方法发送请求，并将proxies参数传递给它。

1.2 使用环境变量

除了在代码中直接指定代理，requests库还支持通过环境变量来设置代理。我们可以通过设置HTTP_PROXY和HTTPS_PROXY环境变量来指定代理服务器。

import os
import requests

os.environ["HTTP_PROXY"] = "http://10.10.1.10:3128"
os.environ["HTTPS_PROXY"] = "http://10.10.1.10:1080"

response = requests.get("http://example.com")
print(response.text)

1.3 认证代理

如果代理服务器需要认证，我们可以在代理URL中包含用户名和密码。

import requests

proxies = {
    "http": "http://user:password@10.10.1.10:3128",
    "https": "http://user:password@10.10.1.10:1080",
}

response = requests.get("http://example.com", proxies=proxies)
print(response.text)

2. 使用urllib库设置HTTP代理

urllib是Python标准库中的一个模块，提供了处理URL的功能。虽然urllib的API相对较为底层，但它同样支持设置HTTP代理。

2.1 基本用法

import urllib.request

proxy_handler = urllib.request.ProxyHandler({
    "http": "http://10.10.1.10:3128",
    "https": "http://10.10.1.10:1080",
})

opener = urllib.request.build_opener(proxy_handler)
urllib.request.install_opener(opener)

response = urllib.request.urlopen("http://example.com")
print(response.read().decode("utf-8"))

在上面的代码中，我们首先创建了一个ProxyHandler对象，并指定了代理服务器的地址和端口。然后，我们使用build_opener方法创建了一个opener对象，并通过install_opener方法将其安装为全局的opener。最后，我们使用urlopen方法发送请求。

2.2 认证代理

如果代理服务器需要认证，我们可以使用HTTPBasicAuthHandler来处理认证。

import urllib.request

proxy_handler = urllib.request.ProxyHandler({
    "http": "http://10.10.1.10:3128",
    "https": "http://10.10.1.10:1080",
})

auth_handler = urllib.request.HTTPBasicAuthHandler()
auth_handler.add_password(realm="Proxy Realm",
                          uri="http://example.com",
                          user="user",
                          passwd="password")

opener = urllib.request.build_opener(proxy_handler, auth_handler)
urllib.request.install_opener(opener)

response = urllib.request.urlopen("http://example.com")
print(response.read().decode("utf-8"))

3. 使用http.client库设置HTTP代理

http.client是Python标准库中的一个模块，提供了底层的HTTP客户端功能。虽然它的API较为复杂，但它同样支持设置HTTP代理。

3.1 基本用法

import http.client

conn = http.client.HTTPConnection("10.10.1.10", 3128)
conn.set_tunnel("example.com")

conn.request("GET", "/")
response = conn.getresponse()
print(response.read().decode("utf-8"))

在上面的代码中，我们首先创建了一个HTTPConnection对象，并指定了代理服务器的地址和端口。然后，我们使用set_tunnel方法设置了目标主机。最后，我们使用request方法发送请求，并通过getresponse方法获取响应。

3.2 认证代理

如果代理服务器需要认证，我们可以在请求头中添加Proxy-Authorization字段。

import http.client
import base64

conn = http.client.HTTPConnection("10.10.1.10", 3128)
conn.set_tunnel("example.com")

headers = {
    "Proxy-Authorization": "Basic " + base64.b64encode(b"user:password").decode("utf-8")
}

conn.request("GET", "/", headers=headers)
response = conn.getresponse()
print(response.read().decode("utf-8"))

4. 使用aiohttp库设置HTTP代理

aiohttp是一个异步的HTTP客户端/服务器库，适用于高性能的异步编程。它同样支持设置HTTP代理。

4.1 基本用法

import aiohttp
import asyncio

async def fetch():
    async with aiohttp.ClientSession() as session:
        async with session.get("http://example.com", proxy="http://10.10.1.10:3128") as response:
            print(await response.text())

asyncio.run(fetch())

在上面的代码中，我们使用aiohttp.ClientSession创建了一个会话，并通过proxy参数指定了代理服务器的地址和端口。

4.2 认证代理

如果代理服务器需要认证，我们可以在代理URL中包含用户名和密码。

import aiohttp
import asyncio

async def fetch():
    async with aiohttp.ClientSession() as session:
        async with session.get("http://example.com", proxy="http://user:password@10.10.1.10:3128") as response:
            print(await response.text())

asyncio.run(fetch())

5. 总结

本文介绍了在Python中设置和使用HTTP代理的几种常见方法，包括使用requests、urllib、http.client和aiohttp库。每种方法都有其适用的场景，开发者可以根据具体需求选择合适的方式。通过合理使用HTTP代理，我们可以更好地控制网络请求，提高程序的稳定性和安全性。