Python怎么爬取漫画图片

发布时间：2021-11-25 14:16:06 作者：小新
来源：亿速云阅读：311

# Python怎么爬取漫画图片

## 前言

在数字阅读时代，漫画爱好者常常需要从各种网站获取漫画资源。本文将详细介绍如何使用Python构建一个完整的漫画图片爬虫，涵盖从环境准备到反反爬策略的全流程实现。通过约2950字的教程，您将掌握实用的网络爬虫开发技巧。

## 一、爬虫基础准备

### 1.1 核心工具安装

确保已安装Python 3.6+环境，并安装以下关键库：

```bash
pip install requests beautifulsoup4 selenium pillow

requests：网络请求库
bs4：HTML解析库
selenium：浏览器自动化工具
Pillow：图像处理库

1.2 目标网站分析

以示例网站www.example-comic.com为例，使用Chrome开发者工具(F12)分析：

页面结构：漫画图片通常位于<img>标签的src或data-src属性
翻页逻辑：检查”下一页”按钮的CSS选择器或API接口
请求头要求：检查User-Agent等必要头部

二、基础爬虫实现

2.1 单页图片下载

import os
import requests
from bs4 import BeautifulSoup

def download_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
    }
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    img_tags = soup.find_all('img', class_='comic-img')  # 根据实际class调整
    
    os.makedirs('comics', exist_ok=True)
    for idx, img in enumerate(img_tags):
        img_url = img['src']
        if not img_url.startswith('http'):
            img_url = f'https://{img_url}'
            
        img_data = requests.get(img_url).content
        with open(f'comics/page_{idx}.jpg', 'wb') as f:
            f.write(img_data)
        print(f'已下载第{idx}张图片')

2.2 处理动态加载内容

当遇到JavaScript动态加载时，使用Selenium：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

def dynamic_download(url):
    chrome_options = Options()
    chrome_options.add_argument('--headless')  # 无头模式
    driver = webdriver.Chrome(options=chrome_options)
    driver.get(url)
    
    # 等待JS加载
    import time
    time.sleep(3)
    
    # 获取渲染后的页面源码
    soup = BeautifulSoup(driver.page_source, 'html.parser')
    # 后续解析逻辑同上...
    driver.quit()

三、完整爬虫系统构建

3.1 项目目录结构

/comic_crawler
│── /comics              # 图片存储
│── /utils               # 工具模块
│   ├── headers.py       # 请求头配置
│   └── logger.py        # 日志系统
├── config.py            # 配置文件
├── crawler.py           # 主爬虫
└── requirements.txt     # 依赖库

3.2 配置化爬虫实现

config.py示例：

BASE_URL = 'https://example-comic.com/series/123'
START_PAGE = 1
END_PAGE = 50
PROXY = {'http': 'http://127.0.0.1:1080'}  # 可选
TIMEOUT = 10

3.3 自动翻页逻辑

def crawl_series():
    current_page = config.START_PAGE
    while current_page <= config.END_PAGE:
        url = f'{config.BASE_URL}?page={current_page}'
        try:
            download_page(url)
            current_page += 1
        except Exception as e:
            print(f'第{current_page}页抓取失败: {str(e)}')
            break

四、高级技巧与优化

4.1 反反爬策略

请求头伪装：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
    'Referer': 'https://example-comic.com/',
    'Accept-Language': 'zh-CN,zh;q=0.9'
}

IP轮换：

import random
proxies = [
    {'http': 'http://proxy1:port'},
    {'http': 'http://proxy2:port'}
]
proxy = random.choice(proxies)

请求间隔：

import time
time.sleep(random.uniform(1, 3))

4.2 断点续爬实现

import pickle

def save_progress(page_num):
    with open('progress.pkl', 'wb') as f:
        pickle.dump(page_num, f)

def load_progress():
    try:
        with open('progress.pkl', 'rb') as f:
            return pickle.load(f)
    except FileNotFoundError:
        return config.START_PAGE

4.3 图片处理技巧

from PIL import Image

def convert_webp_to_jpg(file_path):
    if file_path.endswith('.webp'):
        img = Image.open(file_path).convert('RGB')
        new_path = file_path.replace('.webp', '.jpg')
        img.save(new_path, 'JPEG')
        os.remove(file_path)

五、法律与道德规范

robots.txt检查：

import urllib.robotparser
rp = urllib.robotparser.RobotFileParser()
rp.set_url('https://example-comic.com/robots.txt')
rp.read()
can_fetch = rp.can_fetch('*', '/series/')

注意事项：

遵守网站服务条款
限制请求频率(建议≥2秒/次)
仅用于个人学习，禁止商业用途
尊重版权声明

六、完整代码示例

# comic_crawler.py
import os
import time
import random
import requests
from bs4 import BeautifulSoup
import config
from utils.headers import get_random_header
from utils.logger import setup_logger

logger = setup_logger('comic_crawler')

class ComicCrawler:
    def __init__(self):
        self.session = requests.Session()
        self.current_page = self._load_progress()
        
    def _load_progress(self):
        # 实现进度加载逻辑
        pass
        
    def _save_progress(self, page):
        # 实现进度保存
        pass
    
    def download_image(self, url, save_path):
        try:
            headers = get_random_header()
            resp = self.session.get(url, headers=headers, timeout=config.TIMEOUT)
            resp.raise_for_status()
            
            with open(save_path, 'wb') as f:
                f.write(resp.content)
            logger.info(f'成功下载: {save_path}')
        except Exception as e:
            logger.error(f'下载失败 {url}: {str(e)}')
    
    def run(self):
        while self.current_page <= config.END_PAGE:
            page_url = f'{config.BASE_URL}?page={self.current_page}'
            logger.info(f'开始处理第{self.current_page}页')
            
            try:
                # 页面请求与解析逻辑
                time.sleep(random.uniform(1, 3))
                self.current_page += 1
                self._save_progress(self.current_page)
            except Exception as e:
                logger.error(f'页面处理异常: {str(e)}')
                break

if __name__ == '__main__':
    crawler = ComicCrawler()
    crawler.run()

七、常见问题解决

SSL证书错误：

requests.get(url, verify=False)  # 不推荐长期方案

403禁止访问：

检查请求头完整性
尝试添加Referer头
使用session保持cookies

图片乱序问题：

通过HTML结构中的序号排序
使用正则提取页码：r'page_(\d+)\.jpg'

验证码处理：

# 手动输入验证码
from PIL import Image
import matplotlib.pyplot as plt

def handle_captcha(image_url):
    img_data = requests.get(image_url).content
    with open('captcha.jpg', 'wb') as f:
        f.write(img_data)
    img = Image.open('captcha.jpg')
    plt.imshow(img)
    plt.show()
    return input('请输入验证码: ')

结语

本文详细介绍了Python爬取漫画图片的完整流程，从基础实现到高级优化共包含7个核心部分。关键要点包括：

使用Requests+BS4处理静态页面
通过Selenium应对动态内容
完善的异常处理和日志记录
反反爬策略的综合应用

建议在实际应用中控制爬取频率，每个请求间隔建议2秒以上。完整项目代码已包含核心功能实现，读者可根据实际需求进行扩展修改。

注意：本文所有代码示例仅用于技术学习，请遵守目标网站的使用条款，未经授权不得大规模抓取商业网站内容。 “`