python爬虫urllib如何进行错误处理

在Python中，使用urllib库进行网络请求时，可能会遇到各种错误，如连接错误、超时错误、HTTP错误等。为了确保程序的稳定性和可靠性，我们需要对这些错误进行适当的处理。以下是一些建议：

1. 使用try-except语句捕获异常：

在尝试打开和读取URL时，可以使用try-except语句捕获可能引发的异常。例如：

import urllib.request
import urllib.error

url = "https://example.com"

try:
    response = urllib.request.urlopen(url)
    content = response.read()
except urllib.error.URLError as e:
    print(f"URL Error: {e.reason}")
except urllib.error.HTTPError as e:
    print(f"HTTP Error: {e.code} {e.reason}")
except Exception as e:
    print(f"Other Error: {e}")

2. 使用urllib.robotparser处理robots.txt协议：

在抓取网站内容之前，应该检查网站的robots.txt文件，以确保你的爬虫遵守网站的爬取规则。可以使用urllib.robotparser模块来解析robots.txt文件：

import urllib.robotparser

url = "https://example.com"
robots_url = f"{url}/robots.txt"

rp = urllib.robotparser.RobotFileParser()
rp.set_url(robots_url)
rp.read()

if rp.can_fetch("*", url):
    try:
        response = urllib.request.urlopen(url)
        content = response.read()
    except urllib.error.URLError as e:
        print(f"URL Error: {e.reason}")
    except urllib.error.HTTPError as e:
        print(f"HTTP Error: {e.code} {e.reason}")
    except Exception as e:
        print(f"Other Error: {e}")
else:
    print("Access denied by robots.txt")

3. 设置请求超时：

为了避免因网络问题导致的程序阻塞，可以设置请求超时。例如，使用urllib.request.urlopen()函数时，可以传递一个timeout参数：

import urllib.request
import urllib.error

url = "https://example.com"
timeout = 10  # 设置超时时间为10秒

try:
    response = urllib.request.urlopen(url, timeout=timeout)
    content = response.read()
except urllib.error.URLError as e:
    print(f"URL Error: {e.reason}")
except urllib.error.HTTPError as e:
    print(f"HTTP Error: {e.code} {e.reason}")
except Exception as e:
    print(f"Other Error: {e}")

通过以上方法，你可以对Python爬虫中的错误进行有效处理，提高程序的稳定性和可靠性。