以下是一个简单的Node.js爬虫代码示例:
const request = require('request');
const cheerio = require('cheerio');
// 目标网站的URL
const url = 'https://example.com';
// 发送HTTP请求并获取页面内容
request(url, (error, response, body) => {
if (error) {
console.error(error);
return;
}
// 使用cheerio解析页面内容
const $ = cheerio.load(body);
// 使用CSS选择器获取目标数据
const title = $('title').text();
const links = $('a').map((i, el) => $(el).attr('href')).get();
// 输出结果
console.log('Title:', title);
console.log('Links:', links);
});
这个代码使用request
模块发送HTTP请求,然后通过cheerio
模块解析页面内容。通过使用CSS选择器,我们可以方便地提取出页面中的目标数据。这个示例中,我们提取了页面的标题和链接,并将结果打印出来。
请注意,这只是一个简单的示例,实际的爬虫代码可能需要处理更多的情况,如处理分页、处理异步加载的内容等。