多线程python爬虫怎样调度线程 - 问答

在Python中，可以使用threading库来实现多线程爬虫。为了有效地调度线程，可以采用以下方法：

使用Queue来存储待爬取的URL和已爬取的URL，以便在线程之间共享数据。

import threading
import requests
from bs4 import BeautifulSoup
from queue import Queue

# 创建一个队列，用于存储待爬取的URL和已爬取的URL
url_queue = Queue()

# 定义一个锁，用于同步线程
lock = threading.Lock()

def crawl(url):
    # 使用锁来确保同一时间只有一个线程访问共享资源
    with lock:
        print(f"开始爬取：{url}")

    # 发送HTTP请求并获取响应
    response = requests.get(url)
    content = response.content

    # 使用BeautifulSoup解析网页内容
    soup = BeautifulSoup(content, "html.parser")

    # 在这里处理爬取到的数据，例如提取信息、存储到数据库等

    # 标记URL为已爬取
    with lock:
        print(f"完成爬取：{url}")

def main():
    # 向队列中添加待爬取的URL
    url_queue.put("https://example.com")

    # 创建线程列表
    threads = []

    # 为每个URL创建一个线程并启动
    while not url_queue.empty():
        url = url_queue.get()
        thread = threading.Thread(target=crawl, args=(url,))
        thread.start()
        threads.append(thread)

    # 等待所有线程完成
    for thread in threads:
        thread.join()

if __name__ == "__main__":
    main()

使用concurrent.futures.ThreadPoolExecutor来管理线程池，这样可以更简洁地控制线程的创建和销毁。

import concurrent.futures
import requests
from bs4 import BeautifulSoup
from queue import Queue

# 创建一个队列，用于存储待爬取的URL和已爬取的URL
url_queue = Queue()

# 定义一个锁，用于同步线程
lock = threading.Lock()

def crawl(url):
    # 使用锁来确保同一时间只有一个线程访问共享资源
    with lock:
        print(f"开始爬取：{url}")

    # 发送HTTP请求并获取响应
    response = requests.get(url)
    content = response.content

    # 使用BeautifulSoup解析网页内容
    soup = BeautifulSoup(content, "html.parser")

    # 在这里处理爬取到的数据，例如提取信息、存储到数据库等

    # 标记URL为已爬取
    with lock:
        print(f"完成爬取：{url}")

def main():
    # 向队列中添加待爬取的URL
    url_queue.put("https://example.com")

    # 使用线程池来管理线程
    with concurrent.futures.ThreadPoolExecutor() as executor:
        while not url_queue.empty():
            url = url_queue.get()
            executor.submit(crawl, url)

if __name__ == "__main__":
    main()

这两种方法都可以有效地调度多线程爬虫。使用Queue可以更好地控制线程之间的数据共享，而ThreadPoolExecutor则提供了一个更简洁的方式来管理线程池。

0 赞

0 踩