python简单爬虫代码怎么写 - 问答

这是一个简单的Python爬虫代码示例，使用了requests和BeautifulSoup库来从网站上抓取数据：

首先，确保已经安装了所需的库。如果没有安装，可以使用以下命令安装：

pip install requests
pip install beautifulsoup4

然后，创建一个名为simple_crawler.py的文件，并将以下代码粘贴到文件中：

import requests
from bs4 import BeautifulSoup

def get_page(url):
    try:
        response = requests.get(url)
        response.raise_for_status()
        return response.text
    except requests.exceptions.RequestException as e:
        print(f"Error fetching {url}: {e}")
        return None

def parse_page(html):
    soup = BeautifulSoup(html, "html.parser")
    titles = soup.find_all("h2")  # 根据网页结构选择合适的标签
    for title in titles:
        print(title.get_text())

def main():
    url = "https://example.com"  # 替换为你想抓取的网站URL
    html = get_page(url)
    if html:
        parse_page(html)

if __name__ == "__main__":
    main()

在这个示例中，我们定义了三个函数：

get_page(url)：发送HTTP请求并获取网页内容。
parse_page(html)：使用BeautifulSoup解析HTML内容，并提取所需的信息（在这个例子中是<h2>标签的文本内容）。
main()：主函数，用于调用上述两个函数并执行爬虫。

请注意，这个示例仅适用于具有特定HTML结构的网站。你需要根据你要抓取的网站的实际HTML结构来修改parse_page函数中的代码。

0 赞

0 踩