python爬虫怎么获取html - 问答

要使用Python进行网页抓取并获取HTML内容，您可以使用第三方库requests。首先，确保您已经安装了requests库。如果没有，请在命令行中运行以下命令来安装：

pip install requests

安装完成后，您可以使用以下代码示例来抓取网页并获取HTML内容：

import requests

# 目标URL
url = 'https://example.com'

# 发送HTTP请求并获取响应
response = requests.get(url)

# 检查请求是否成功（状态码为200表示成功）
if response.status_code == 200:
    # 获取HTML内容
    html_content = response.text
    print(html_content)
else:
    print(f"请求失败，状态码：{response.status_code}")

将https://example.com替换为您要抓取的网址。运行此代码后，您将看到页面的HTML内容。如果您需要解析HTML并提取特定信息，可以使用BeautifulSoup库。要安装BeautifulSoup，请在命令行中运行：

pip install beautifulsoup4

然后，您可以使用以下代码示例解析HTML并提取所需信息：

import requests
from bs4 import BeautifulSoup

# 目标URL
url = 'https://example.com'

# 发送HTTP请求并获取响应
response = requests.get(url)

# 检查请求是否成功（状态码为200表示成功）
if response.status_code == 200:
    # 获取HTML内容
    html_content = response.text
    
    # 使用BeautifulSoup解析HTML
    soup = BeautifulSoup(html_content, 'html.parser')
    
    # 提取所需信息，例如提取所有段落文本
    paragraphs = soup.find_all('p')
    for p in paragraphs:
        print(p.get_text())
else:
    print(f"请求失败，状态码：{response.status_code}")

这只是一个简单的示例，您可以根据需要修改代码以满足您的爬虫需求。

0 赞

0 踩