robots禁止抓取php的方法

这篇文章将为大家详细讲解有关robots禁止抓取php的方法，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

robots禁止抓取php的方法：1、在robots.txt文件里写入“Disallow: /*?*”；2、在robots.txt文件里添加规则“User-agent:* Allow: .html$ Disallow: /”即可。

robots禁止搜索引擎抓取php动态网址

所谓的动态网址也就是指URL中包括 ？，& 等字符类的网址，如：news.php?lang=cn&class=1&id=2，当我们在开启了网站的伪静态之后，为了网站的SEO，就很有必要避免搜索引擎抓取我们网站的动态网址。

为什么要这么做？因为搜索引擎在对相同的页面抓取两次之后但最后判定为同一个页面的时候会而对网站做些触发的，具体是怎么处罚的，这个不太清楚，总之是不利于整个网站的SEO的。那么该如何禁止搜索引擎抓取我们网站的动态网址呢？

利用robots.txt文件即可解决这个问题，请看下面的详细操作。

我们知道动态页面都有一个共同的特征，就是在链接里会带有"?"这个问号的符号，因此我们可以在robots.txt文件里写入如下这样的规则：

User-agent: *
Disallow: /*?*

这样即可禁止搜索引擎抓取整个网站的动态链接了。另外如果我们只想让搜索引擎抓取指定类型文件，如html格式的静态页面，可在robots.txt里面加入如下这样的规则：

User-agent: *
Allow: .html$
Disallow: /

另外记得一定要将写好的robots.txt文件放在你网站的根目录中哦，不然是不起作用的。另外写入规则有一个简便的捷径，登陆google网站管理员工具，只接在里面写入规则后，生成robots.txt文件即可。

关于“robots禁止抓取php的方法”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。