通用网络爬虫是什么意思

这篇文章主要介绍了通用网络爬虫是什么意思，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

通用网络爬虫的结构大致可以分为页面爬虫模块、页面分析模块、链接过滤模块、页面数据库、网址队列和初始网址集成。为了提高工作效率，通用网络爬虫会采用一定的爬虫策略。常见的爬虫策略有:深度优先策略和广度优先策略。

1、深度优先策略，其基本方法是按照深度从低到高的顺序依次访问下一个网页链接，直到无法深入。

爬虫完成爬行分支后，返回上一个链接节点，进一步搜索其他链接。所有链接通过后，爬行任务就结束了。这个策略更适合垂直搜索或者站点搜索，但是爬行页面内容层次深的网站会造成资源的巨大浪费。

2、广度优先策略，该策略根据网页内容目录层次的深度爬行网页，目录层次较浅的网页首先被爬行。

同一层次的页面爬行完成后，爬虫继续深入下一层。该策略可以有效控制页面的爬行深度，避免无限深度分支时爬行无法结束的问题，实现方便，无需存储大量中间节点。缺点是爬到目录层次较深的页面需要很长时间。

一般的网络爬虫也叫全网爬虫(ScalableWebCrawler)，爬虫对象从一些种子URL扩展到整个网络，主要是为门户网站搜索引擎和大型网络服务提供商收集数据。由于商业原因，他们的技术细节很少公布。这种网络爬虫爬行范围和数量巨大，对爬行速度和存储空间要求高，对爬行页面的顺序要求相对较低。同时，由于需要刷新的页面太多，通常是并行的，但刷新页面需要很长时间。虽然有一些缺陷，但一般的网络爬虫适合搜索引擎的广泛主题，具有很强的应用价值。

感谢你能够认真阅读完这篇文章，希望小编分享的“通用网络爬虫是什么意思”这篇文章对大家有帮助，同时也希望大家多多支持亿速云，关注亿速云行业资讯频道，更多相关知识等着你来学习!