2.2 确定采集策略

根据网页结构，我们可以确定以下采集策略：

1. 发送HTTP请求：使用requests库发送GET请求，获取网页内容。
2. 解析HTML文档：使用BeautifulSoup解析HTML文档，提取评论数据。
3. 处理分页：如果评论数据分布在多个页面，需要处理分页逻辑。
4. 存储数据：将采集到的评论数据存储到文件或数据库中。

3. 编写采集脚本

接下来，我们将编写Python脚本来实现上述采集策略。

3.1 发送HTTP请求

首先，我们需要发送HTTP请求，获取目标网页的内容。使用requests库可以轻松实现这一点。

import requests

url = "https://movie.douban.com/subject/1292052/comments"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}

response = requests.get(url, headers=headers)
if response.status_code == 200:
    html_content = response.text
else:
    print(f"Failed to retrieve the page. Status code: {response.status_code}")

3.2 解析HTML文档

获取到网页内容后，我们需要使用BeautifulSoup解析HTML文档，提取评论数据。

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, "html.parser")
comments = soup.find_all("div", class_="comment-item")

for comment in comments:
    user = comment.find("span", class_="comment-info").find("a").text
    rating = comment.find("span", class_="rating")["title"] if comment.find("span", class_="rating") else "无评分"
    content = comment.find("span", class_="short").text
    print(f"用户: {user}, 评分: {rating}, 评论: {content}")

3.3 处理分页

如果评论数据分布在多个页面，我们需要处理分页逻辑。通常，分页信息可以通过URL参数或JavaScript动态加载。对于豆瓣电影评论，分页信息可以通过URL参数start来控制。

base_url = "https://movie.douban.com/subject/1292052/comments"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}

for page in range(0, 100, 20):  # 每页20条评论，采集5页
    url = f"{base_url}?start={page}&limit=20&status=P&sort=new_score"
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        html_content = response.text
        soup = BeautifulSoup(html_content, "html.parser")
        comments = soup.find_all("div", class_="comment-item")
        for comment in comments:
            user = comment.find("span", class_="comment-info").find("a").text
            rating = comment.find("span", class_="rating")["title"] if comment.find("span", class_="rating") else "无评分"
            content = comment.find("span", class_="short").text
            print(f"用户: {user}, 评分: {rating}, 评论: {content}")
    else:
        print(f"Failed to retrieve the page. Status code: {response.status_code}")

3.4 存储数据

采集到的评论数据可以存储到文件或数据库中。以下是使用Pandas将数据存储到CSV文件的示例。

import pandas as pd

data = []

for page in range(0, 100, 20):
    url = f"{base_url}?start={page}&limit=20&status=P&sort=new_score"
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        html_content = response.text
        soup = BeautifulSoup(html_content, "html.parser")
        comments = soup.find_all("div", class_="comment-item")
        for comment in comments:
            user = comment.find("span", class_="comment-info").find("a").text
            rating = comment.find("span", class_="rating")["title"] if comment.find("span", class_="rating") else "无评分"
            content = comment.find("span", class_="short").text
            data.append({"用户": user, "评分": rating, "评论": content})
    else:
        print(f"Failed to retrieve the page. Status code: {response.status_code}")

df = pd.DataFrame(data)
df.to_csv("movie_comments.csv", index=False, encoding="utf-8-sig")

4. 处理动态加载内容

有些网站的评论数据是通过JavaScript动态加载的，使用requests库无法直接获取这些内容。此时，我们可以使用Selenium来模拟浏览器行为，获取动态加载的评论数据。

4.1 安装Selenium

首先，确保你已经安装了Selenium库，并下载了对应的浏览器驱动（如ChromeDriver）。

pip install selenium

4.2 使用Selenium采集数据

以下是使用Selenium采集动态加载评论数据的示例代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import time

driver = webdriver.Chrome(executable_path="path/to/chromedriver")
driver.get("https://movie.douban.com/subject/1292052/comments")

# 模拟滚动加载更多评论
for _ in range(5):  # 滚动5次
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(2)

comments = driver.find_elements(By.CLASS_NAME, "comment-item")
for comment in comments:
    user = comment.find_element(By.CLASS_NAME, "comment-info").find_element(By.TAG_NAME, "a").text
    rating = comment.find_element(By.CLASS_NAME, "rating").get_attribute("title") if comment.find_elements(By.CLASS_NAME, "rating") else "无评分"
    content = comment.find_element(By.CLASS_NAME, "short").text
    print(f"用户: {user}, 评分: {rating}, 评论: {content}")

driver.quit()

5. 数据存储与进一步分析

采集到的评论数据可以存储到数据库（如MongoDB或SQLite）中，以便进行进一步的分析和处理。以下是使用MongoDB存储数据的示例：

from pymongo import MongoClient

client = MongoClient("mongodb://localhost:27017/")
db = client["movie_db"]
collection = db["comments"]

for page in range(0, 100, 20):
    url = f"{base_url}?start={page}&limit=20&status=P&sort=new_score"
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        html_content = response.text
        soup = BeautifulSoup(html_content, "html.parser")
        comments = soup.find_all("div", class_="comment-item")
        for comment in comments:
            user = comment.find("span", class_="comment-info").find("a").text
            rating = comment.find("span", class_="rating")["title"] if comment.find("span", class_="rating") else "无评分"
            content = comment.find("span", class_="short").text
            collection.insert_one({"用户": user, "评分": rating, "评论": content})
    else:
        print(f"Failed to retrieve the page. Status code: {response.status_code}")

6. 总结

本文详细介绍了如何使用Python采集电影评论，涵盖了从环境搭建、网页分析、数据采集到数据存储的完整流程。通过使用requests、BeautifulSoup、Selenium等工具，我们可以轻松地从目标网站中提取所需的评论数据，并将其存储到文件或数据库中，以便进行进一步的分析和处理。

在实际应用中，采集数据时需要注意遵守目标网站的robots.txt文件规定，避免对服务器造成过大压力。此外，处理动态加载内容时，使用Selenium可以模拟浏览器行为，获取完整的评论数据。希望本文能为你提供有价值的参考，帮助你更好地进行电影评论数据的采集与分析。