Nginx中配置过滤爬虫的User-Agent方法

这篇“Nginx中配置过滤爬虫的User-Agent方法”文章的知识点大部分人都不太理解，所以小编给大家总结了以下内容，内容详细，步骤清晰，具有一定的借鉴价值，希望大家阅读完这篇文章能有所收获，下面我们一起来看看这篇“Nginx中配置过滤爬虫的User-Agent方法”文章吧。

一看不得了，基本上都是被一个user agent叫"yisouspider"的东西给刷屏了，一看就不知道是哪的蜘蛛，太没节操了。
找到根目录配置区，增加user agent过滤判断语句，发现叫"yisouspider"的直接返回403

注1：如果需要增加多个过滤，这样做

 ($http_user_agent ~* "spider1|spider2|spider3|spider4")

，中间用|隔开就行了

注2：如果你是用的是子目录博客，像我的一样，那么要找到 "location /blog/" 这样的区段去修改

location / {
......其它配置
if ($http_user_agent ~* "yisouspider") {
return 403;
}
}

配置完成wq保存后reload一下nginx，然后使用以下命令自我测试，地址自己改。没装curl的我就没办法了，自己apt或者yum装一个吧，神器来的。

curl -i -a "yisouspider" www.slyar.com/blog/

看到返回403就可以了，说明配置成功

以上就是关于“Nginx中配置过滤爬虫的User-Agent方法”这篇文章的内容，相信大家都有了一定的了解，希望小编分享的内容对大家有帮助，若想了解更多相关的知识内容，请关注亿速云行业资讯频道。