怎么用python爬虫爬取数据 - 问答

要用Python进行网络爬虫，您可以使用第三方库requests和BeautifulSoup。以下是一个简单的示例，说明如何使用这两个库从网站上抓取数据：

首先，确保您已经安装了requests和beautifulsoup4库。如果尚未安装，可以使用以下命令安装：

pip install requests beautifulsoup4

创建一个名为web_scraper.py的Python文件，并在其中编写以下代码：

import requests
from bs4 import BeautifulSoup

def fetch_data(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    else:
        print("Error:", response.status_code)
        return None

def parse_data(html):
    soup = BeautifulSoup(html, 'html.parser')
    # 根据网页结构选择合适的CSS选择器
    data = soup.select('.data-class')  # 示例选择器，请根据实际网页结构进行修改
    result = []
    for item in data:
        # 提取所需信息，这里以提取文本为例
        text = item.get_text(strip=True)
        result.append(text)
    return result

def main():
    url = 'https://example.com'  # 替换为您要抓取的网站URL
    html = fetch_data(url)
    if html:
        data = parse_data(html)
        print(data)

if __name__ == '__main__':
    main()

根据您要抓取的网站结构，修改CSS选择器以提取所需数据。
运行web_scraper.py文件：

python web_scraper.py

这个示例将从指定的URL抓取HTML内容，然后使用BeautifulSoup解析HTML并提取所需的数据。请注意，这个示例仅适用于简单的网页结构。对于更复杂的网站，您可能需要根据网页的层次结构和属性进行更深入的分析。

0 赞

0 踩