多线程python爬虫如何分配任务 - 问答

在Python中，可以使用多种方法来分配多线程爬虫的任务。以下是一些建议：

使用concurrent.futures.ThreadPoolExecutor:

ThreadPoolExecutor是一个高级的线程池实现，可以简化多线程任务的分配和管理。以下是一个简单的示例：

import requests
from bs4 import BeautifulSoup
from concurrent.futures import ThreadPoolExecutor

def fetch(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    else:
        return None

def parse(html):
    soup = BeautifulSoup(html, 'html.parser')
    # 在这里解析网页内容并提取数据
    pass

def main():
    urls = ['http://example.com', 'http://example.org', 'http://example.net']
    
    with ThreadPoolExecutor(max_workers=5) as executor:
        html_list = list(executor.map(fetch, urls))
        
        for html in html_list:
            if html:
                parse(html)

if __name__ == '__main__':
    main()

在这个示例中，我们使用ThreadPoolExecutor创建了一个最大工作线程数为5的线程池。executor.map()函数将fetch函数应用于urls列表中的每个URL，并将结果收集到一个HTML列表中。然后，我们可以遍历这个列表并使用parse函数解析每个网页。

使用queue.Queue:

queue.Queue是一个先进先出（FIFO）队列，可以用于在多线程之间安全地传递任务。以下是一个简单的示例：

import requests
from bs4 import BeautifulSoup
import threading
import queue

task_queue = queue.Queue()

def fetch(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    else:
        return None

def parse(html):
    soup = BeautifulSoup(html, 'html.parser')
    # 在这里解析网页内容并提取数据
    pass

def worker():
    while True:
        url = task_queue.get()
        if url is None:
            break
        
        html = fetch(url)
        if html:
            parse(html)
        
        task_queue.task_done()

def main():
    urls = ['http://example.com', 'http://example.org', 'http://example.net']
    
    for url in urls:
        task_queue.put(url)
    
    num_workers = 5
    for _ in range(num_workers):
        worker = threading.Thread(target=worker)
        worker.daemon = True
        worker.start()
    
    task_queue.join()
    
    for _ in range(num_workers):
        task_queue.put(None)

if __name__ == '__main__':
    main()

在这个示例中，我们创建了一个queue.Queue实例task_queue来存储待处理的URL。我们还定义了一个worker函数，该函数从队列中获取URL，调用fetch函数获取网页内容，然后调用parse函数解析网页。在main函数中，我们将URL添加到队列中，并启动5个工作线程。当所有URL都处理完毕后，我们向队列中添加5个None对象，以便工作线程可以退出。

0 赞

0 踩