在Python中,可以使用concurrent.futures模块进行并发编程。这个模块提供了两种主要的方法来实现并发:ThreadPoolExecutor和ProcessPoolExecutor。它们分别使用线程和进程来实现并发执行。
下面是使用ThreadPoolExecutor进行并发编程的示例:
import concurrent.futures
import requests
def fetch_url(url):
response = requests.get(url)
return response.text
urls = [
'https://www.example.com',
'https://www.google.com',
'https://www.github.com',
# 更多URL...
]
# 使用线程池执行并发请求
with concurrent.futures.ThreadPoolExecutor() as executor:
results = list(executor.map(fetch_url, urls))
print(results)
在这个示例中,我们首先导入concurrent.futures和requests模块。然后定义一个fetch_url函数,用于发送HTTP请求并返回响应内容。接下来,我们创建一个URL列表,并使用ThreadPoolExecutor来执行并发请求。最后,我们将结果打印出来。
ProcessPoolExecutor的使用方式与ThreadPoolExecutor类似,但它使用进程而不是线程来实现并发执行。这在处理CPU密集型任务时非常有用,因为Python的全局解释器锁(GIL)会阻止多线程并行执行CPU密集型任务。在这种情况下,使用进程可以充分利用多核CPU的性能。
这里是一个使用ProcessPoolExecutor的示例:
import concurrent.futures
import requests
def fetch_url(url):
response = requests.get(url)
return response.text
urls = [
'https://www.example.com',
'https://www.google.com',
'https://www.github.com',
# 更多URL...
]
# 使用进程池执行并发请求
with concurrent.futures.ProcessPoolExecutor() as executor:
results = list(executor.map(fetch_url, urls))
print(results)
在这个示例中,我们只需将ThreadPoolExecutor替换为ProcessPoolExecutor即可。其他代码保持不变。