Node爬虫怎样进行错误处理

在Node.js中，进行错误处理的关键是使用try-catch语句。当你在爬虫过程中遇到错误或异常时，可以使用try-catch语句捕获这些错误并进行相应的处理。以下是一个简单的Node.js爬虫示例，展示了如何进行错误处理：

const axios = require('axios');
const cheerio = require('cheerio');

// 定义一个异步函数来执行爬虫任务
async function fetchAndParse(url) {
  try {
    // 使用axios发起HTTP请求
    const response = await axios.get(url);

    // 使用cheerio解析HTML内容
    const $ = cheerio.load(response.data);

    // 在这里编写你的爬虫逻辑，例如提取数据
    // ...

  } catch (error) {
    // 捕获错误并进行处理
    console.error(`Error fetching URL: ${url}`, error);
  }
}

// 定义一个URL列表
const urls = [
  'https://example.com',
  'https://example.org',
  // ...
];

// 并行执行爬虫任务
Promise.all(urls.map(fetchAndParse)).then(() => {
  console.log('All done!');
}).catch((error) => {
  console.error('An error occurred while fetching URLs:', error);
});

在这个示例中，我们使用了try-catch语句来捕获可能在fetchAndParse函数中发生的错误。同时，我们还使用了Promise.all来并行执行多个爬虫任务，并在所有任务完成后输出提示信息。如果在执行过程中遇到错误，Promise.all会捕获到错误并输出提示信息。