Robots.txt禁止收录协议的写法很多网站优化师做优化的时候不知道robots

　　Robots.txt禁止收录协议的写法很多网站优化师做优化的时候不知道robots

　　Robots.txt禁止撰写收录协议

　　许多网站优化器在进行优化时都不知道机器人是什么？他们甚至都不知道如何编写漫游器文件。接下来，科学技术将教您如何编写正确的robots.txt协议。

　　什么是Robots.txt？

　　Robots.txt是网站与搜索引擎之间协议的纯文本文件。当搜索引擎蜘蛛访问网站时，它首先进行爬网以检查robot.txt是否在网站的根目录中存在。如果存在，则根据文件的内容确定访问范围，如果不存在，蜘蛛将沿着链接进行爬网。机器人放置在该空间的根目录中。

　　1、机器人语法

　　用户代理：*

　　说明：“ *”星号表示所有蜘蛛都可以抓取此网站

　　注意：第一个英文应该大写。如果冒号是英语，则冒号后面有一个空格。这些要点一定不能错。

　　禁止

　　说明：不允许蜘蛛爬行

　　示例：

　　不允许：/ *

　　说明：禁止搜索引擎蜘蛛对整个网站进行爬网（在完成网站之前，搜索引擎蜘蛛不得对网站进行爬网）

　　2、路径后斜杠与无斜杠之间的区别

　　不允许：/ images /不允许：/ images

　　说明：如果有斜线，则禁止抓取整个图像文件夹。如果没有斜线，则表示路径中所有带有/ images 关键词的内容都将被阻止

　　如何阻止动态链接

　　不允许：/ * = *不允许：/ *？*不允许：/ *＆*

　　说明：星号代表所有字符，并且所有带有相同符号，问号和＆符号的链接均被阻止（必须有两个*符号）

　　屏蔽编写CSS文件和JS文件

　　不允许：/.css $

　　不允许：/.js $

　　如何阻止文件夹，但可以获取其中一个文件：/ templets / qiche

　　不允许：/ templets

　　允许：/ qiche

　　说明：屏蔽文件夹模板，但可以抓取文件夹qiche中的文件之一

　　3、编写robots.txt时的注意事项

　　斜线：/代表整个网站

　　如果“ /”后面有多余的空格，则整个网站都将被阻止

　　不要禁止正常内容

　　有效时间为几天到两个月。

　　具体写作：——————-

　　用户代理：*

　　不允许：/