Java WebMagic异常处理与重试机制

WebMagic 是一款优秀的 Java 爬虫框架，但在爬取过程中可能会遇到一些异常情况，需要合理处理和设置重试机制，以保证爬虫的稳定性和效率。

异常处理： WebMagic 默认会将爬取过程中遇到的异常记录在日志中，可以通过自定义 ExceptionHandler 来处理这些异常，例如可以将异常信息保存到数据库或发送邮件进行通知。

Spider.create(new MyPageProcessor())
    .addUrl("http://www.example.com")
    .setScheduler(new QueueScheduler().setDuplicateRemover(new BloomFilterDuplicateRemover(1000000)))
    .setDownloader(new HttpClientDownloader())
    .setThread(5)
    .setExitWhenComplete(true)
    .setExceptionHandler(new MyExceptionHandler())
    .run();

其中，MyExceptionHandler 是自定义的异常处理类，需要继承自 AbstractExceptionHandler 类，重写 handle 方法来处理异常：

public class MyExceptionHandler implements ExceptionHandler {

    @Override
    public void handle(Request request, Exception e) {
        // 异常处理逻辑
        System.out.println("An exception occurred: " + e.getMessage());
    }
}

重试机制： WebMagic 提供了一个 RetryDownloader 类来实现下载失败时的重试机制，可以设置最大重试次数和重试间隔时间，以应对网络不稳定等情况。

Spider.create(new MyPageProcessor())
    .addUrl("http://www.example.com")
    .setScheduler(new QueueScheduler().setDuplicateRemover(new BloomFilterDuplicateRemover(1000000)))
    .setDownloader(new RetryDownloader(new HttpClientDownloader(), 3, 1000))
    .setThread(5)
    .setExitWhenComplete(true)
    .run();

上面的代码中，RetryDownloader 将 HttpClientDownloader 作为参数传入，设置最大重试次数为 3 次，重试间隔时间为 1000 毫秒。

通过合理处理异常和设置重试机制，可以提高爬虫的稳定性和效率，避免因异常情况导致爬取失败。