python request爬虫如何进行并发请求 - 问答

在Python中，我们可以使用requests库和concurrent.futures模块来实现并发请求。这里有一个简单的示例，展示了如何使用ThreadPoolExecutor进行并发请求：

首先，确保已经安装了requests库。如果没有安装，可以使用以下命令安装：

pip install requests

然后，创建一个名为concurrent_requests.py的文件，并添加以下代码：

import requests
from concurrent.futures import ThreadPoolExecutor

# 定义一个函数，用于发送请求并获取响应
def fetch(url):
    response = requests.get(url)
    return response.text

# 定义要请求的URL列表
url_list = [
    'https://www.example.com',
    'https://www.example.org',
    'https://www.example.net',
    # ... 添加更多URL
]

# 使用ThreadPoolExecutor进行并发请求
def main():
    with ThreadPoolExecutor(max_workers=5) as executor:
        # 使用executor.map()方法将URL列表传递给fetch()函数，并获取结果
        results = executor.map(fetch, url_list)

        # 打印结果
        for result in results:
            print(result)

if __name__ == '__main__':
    main()

在这个示例中，我们首先导入requests库和concurrent.futures模块。然后，我们定义了一个名为fetch的函数，该函数接受一个URL作为参数，并使用requests.get()方法发送请求。接下来，我们定义了一个名为url_list的列表，其中包含要请求的URL。

在main()函数中，我们使用ThreadPoolExecutor创建一个线程池，并设置最大工作线程数为5。然后，我们使用executor.map()方法将url_list中的URL传递给fetch()函数，并获取结果。最后，我们遍历结果并打印出来。

要运行这个示例，只需在命令行中输入以下命令：

python concurrent_requests.py

这将并发地请求url_list中的所有URL，并将结果打印到控制台。你可以根据需要调整max_workers参数以控制并发请求的数量。

0 赞

0 踩