如何从UserAgent识别搜索引擎并判断真假蜘蛛

发布时间:2020-07-20 11:40:57 作者:清晨
来源:亿速云 阅读:470

小编给大家分享一下如何从UserAgent识别搜索引擎并判断真假蜘蛛,希望大家阅读完这篇文章后大所收获,下面让我们一起去探讨吧!

一般搜索引擎去爬取一个网站时,首先是去读取网站的robots.txt 文件,看看网站管理员有没有在该文件设置禁止某些蜘蛛,或禁止访问

哪些路径。然而一些流氓蜘蛛不会顾及robots.txt 文件,想爬哪就爬哪。这种情况管理员只能通过应用程序去识别判断,是否限制某些访

问。

识别搜索引擎

通过UserAgent 字符串来识别,下面例子是使用Go 来实现

简单的是通过正则来识别:

spiderReg = regexp.MustCompile(`(?i)bot|crawl|spider|slurp|sohu-search|lycos|robozilla|google|Baidu`)

上面的正则就能识别大多数搜索引擎,使用方法:

if spiderReg.MatchString(r.Header.Get("User-Agent")) {
    // 对搜索引擎作响应
}

如果要想要从UserAgent 里分析出更多的信息,可借助一些库来解析,如下面:

import "github.com/mssola/user_agent"

ua = user_agent.UserAgent{}
ua.Parse("Mozilla/5.0 (compatible; Googlebot/2.1;+http://www.google.com/bot.html)")

fmt.Printf("%v\n", ua.Bot())      // => true
name, version = ua.Browser()
fmt.Printf("%v\n", name)          // => Googlebot
fmt.Printf("%v\n", version)       // => 2.1

识别真假

UserAgent 字符串可以在 http 请求时设置,任何一个客户端都可以伪造成一个搜索引擎去访问你的网站。可以通过下面两个步骤去识别真正的搜索引擎。

在 *nix 系统下使用 host 命令,使用方法如下面两个示例:

$ host 207.46.13.178
178.13.46.207.in-addr.arpa domain name pointer msnbot-207-46-13-178.search.msn.com.
$ host msnbot-207-46-13-178.search.msn.com
msnbot-207-46-13-178.search.msn.com has address 207.46.13.178
$ host 203.208.60.24
24.60.208.203.in-addr.arpa domain name pointer crawl-203-208-60-24.googlebot.com.
$ host crawl-203-208-60-24.googlebot.com
crawl-203-208-60-24.googlebot.com has address 203.208.60.24

解释一下上面的过程,首先通过来访 IP 作DNS反向查询,得到相关域名,再把得到的域名再做一次查询,得到 IP,与原来的IP 相同才是比较靠谱的搜索引擎。

Go 语言里的 net 包可以实现这样的查询:

names, err := net.LookupAddr(ip)
addrs, err := net.LookupHost(name)

通过这种方式建立一个IP白名单,就可以屏蔽掉一些来路不明的蜘蛛。

看完了这篇文章,相信你对如何从UserAgent识别搜索引擎并判断真假蜘蛛有了一定的了解,想了解更多相关知识,欢迎关注亿速云行业资讯频道,感谢各位的阅读!

推荐阅读:
  1. JavaScript判断json中数据真假的方法
  2. 如何识别云服务器的真假

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

python useragent age

上一篇:LR11中将IE9降级为IE8

下一篇:Windows Server 2019 搭建DC域控

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》