python中不同类型爬虫的爬行策略有哪些

小编给大家分享一下python中不同类型爬虫的爬行策略有哪些，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

1、增量式网络爬虫。

增量更新是指在更新时只更新变化的地方，而没有变化的地方则不更新，只抓取内容发生变化的网页或新产生的网页，在一定程度上可以保证所抓取的网页，尽量是新网页。

2、通用爬虫。

抓取目标资源在全网，抓取目标数据巨大。爬行性能要求很高。适用于大型搜索引擎，具有很高的应用价值。

主要包括深度优先爬行策略和广度优先爬行策略。

3、深层网络爬虫。

表面页面：无需提交表格，使用静态链接即可到达的静态页面。

深层网页:隐藏在表单后面，不能直接通过静态链接获取，是需要提交一定关键词才能获得的网页。

深层网络爬虫最重要的部分是填写表格。

4、聚焦网络爬虫。

在与主题相关的页面题相关的页面，主要用于抓取特定信息，主要为特定群体提供服务。

基于内容评价的爬行策略，基于链接评价的爬行策略，基于加强学习的爬行策略，基于语境图的爬行策略，专注于网络爬虫的具体爬行策略。

以上是“python中不同类型爬虫的爬行策略有哪些”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注亿速云行业资讯频道！