如何只禁止百度搜索引擎收录抓取的网页协议?
第一种方法,robots.txt方法
搜索引擎默认遵循robots.txt协议。创建一个 robots.txt 文本文件并将其放在网站root 目录中。编辑代码如下:
用户代理:*
禁止:/
<p>通过上面的代码,你可以告诉搜索引擎不要抢收录本网站,并且小心使用上面的代码:这将禁止所有搜索引擎访问网站的任何部分。
要回复文章请先登录或注册
云端的采集更轻松