怎么用Python写一个爬虫框架

要写一个简单的爬虫框架，可以使用Python的requests库来发送HTTP请求，并使用BeautifulSoup库来解析HTML页面。以下是一个简单的爬虫框架示例：

import requests
from bs4 import BeautifulSoup

def get_html(url):
    response = requests.get(url)
    return response.text

def parse_html(html):
    soup = BeautifulSoup(html, 'html.parser')
    # 在这里编写解析HTML的代码
    # 例如提取页面中的链接、标题等信息
    links = [link.get('href') for link in soup.find_all('a')]
    return links

def crawl(url):
    html = get_html(url)
    links = parse_html(html)
    for link in links:
        print(link)

if __name__ == '__main__':
    url = 'https://www.example.com'
    crawl(url)

在这个示例中，我们定义了三个函数：get_html用于发送HTTP请求并获取HTML页面内容，parse_html用于解析HTML页面并提取链接信息，crawl用于爬取指定URL页面的链接并打印出来。最后在main函数中指定了要爬取的URL，并调用crawl函数开始爬取。

当然，这只是一个简单的爬虫框架示例，实际项目中可能需要更多的功能和处理逻辑，比如处理页面的js渲染、处理异常、保存数据等。建议在实际项目中根据需求进行相应的扩展和改进。