Python爬虫异常处理方法

在进行Python爬虫开发时，可能会遇到各种异常情况，如网络错误、解析错误、请求超时等。为了确保爬虫的稳定性和可靠性，我们需要对这些异常进行处理。以下是一些常见的Python爬虫异常处理方法：

1. 使用 try-except 块捕获异常

这是最基本的异常处理方法，可以在代码中使用 try-except 块来捕获和处理异常。

import requests
from bs4 import BeautifulSoup

url = 'http://example.com'

try:
    response = requests.get(url)
    response.raise_for_status()  # 检查请求是否成功
    soup = BeautifulSoup(response.text, 'html.parser')
    # 处理解析后的数据
except requests.exceptions.RequestException as e:
    print(f"网络错误: {e}")
except Exception as e:
    print(f"其他错误: {e}")

2. 使用 requests 库的内置异常处理

requests 库本身提供了一些内置的异常类，可以直接捕获和处理这些异常。

import requests
from bs4 import BeautifulSoup

url = 'http://example.com'

try:
    response = requests.get(url, timeout=10)
    response.raise_for_status()  # 检查请求是否成功
    soup = BeautifulSoup(response.text, 'html.parser')
    # 处理解析后的数据
except requests.exceptions.Timeout as e:
    print(f"请求超时: {e}")
except requests.exceptions.RequestException as e:
    print(f"网络错误: {e}")
except Exception as e:
    print(f"其他错误: {e}")

3. 使用 logging 模块记录日志

为了更好地监控和调试爬虫，可以使用 logging 模块来记录异常信息。

import logging
import requests
from bs4 import BeautifulSoup

logging.basicConfig(filename='spider.log', level=logging.ERROR)

url = 'http://example.com'

try:
    response = requests.get(url, timeout=10)
    response.raise_for_status()  # 检查请求是否成功
    soup = BeautifulSoup(response.text, 'html.parser')
    # 处理解析后的数据
except requests.exceptions.Timeout as e:
    logging.error(f"请求超时: {e}")
except requests.exceptions.RequestException as e:
    logging.error(f"网络错误: {e}")
except Exception as e:
    logging.error(f"其他错误: {e}")

4. 使用 retry 库重试请求

在某些情况下，网络请求可能会因为临时性问题而失败。可以使用 retry 库来实现请求的重试机制。

import requests
from bs4 import BeautifulSoup
from tenacity import retry, stop_after_attempt, wait_exponential

@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, min=4, max=10))
def fetch_url(url):
    try:
        response = requests.get(url, timeout=10)
        response.raise_for_status()  # 检查请求是否成功
        return response.text
    except requests.exceptions.RequestException as e:
        raise e

url = 'http://example.com'
try:
    html = fetch_url(url)
    soup = BeautifulSoup(html, 'html.parser')
    # 处理解析后的数据
except Exception as e:
    print(f"请求失败: {e}")

5. 使用 Scrapy 框架的异常处理

如果你使用的是 Scrapy 框架，它提供了内置的异常处理机制。

import scrapy

class ExampleSpider(scrapy.Spider):
    name = 'example'
    start_urls = ['http://example.com']

    def parse(self, response):
        try:
            # 处理解析后的数据
            pass
        except Exception as e:
            self.logger.error(f"解析错误: {e}")

通过以上方法，你可以有效地处理Python爬虫中的各种异常情况，确保爬虫的稳定运行。