如何实现屏蔽或禁止百度搜索引擎收录抓取的话?
优采云 发布时间: 2021-07-01 03:09
如何实现屏蔽或禁止百度搜索引擎收录抓取的话?
禁止搜索引擎内容的几种方法收录网站
如果您的网站涉及个人隐私或保密及非公开网页,需要禁止搜索引擎收录抓取,您应该怎么做?本文将教你几种屏蔽或禁止搜索引擎的方法收录抓取网站的内容
第一种方法,robots.txt方法
搜索引擎默认遵循robots.txt协议。创建一个 robots.txt 文本文件并将其放在网站root 目录中。编辑代码如下:
用户代理:*
禁止:/
<p>通过上面的代码,你可以告诉搜索引擎不要抢收录本网站,并且小心使用上面的代码:这将禁止所有搜索引擎访问网站的任何部分。