robots.txt文件相信做搜索引擎优化的朋友都知道

　　robots.txt文件相信做搜索引擎优化的朋友都知道

　　robots.txt文件相信正在执行搜索引擎优化的朋友知道robots.txt是搜索引擎采集器协议，但是许多人不知道robots.txt文件的作用。我将根据自己的理解为您做一个简短的介绍。 robots.txt文件的角色，存储位置，内容和基本语法。

　　一个：什么是机器人搜索引擎协议：

　　rotobs协议的全名是“网络爬虫排除协议”，也称为“爬虫协议”或“机器人协议”。要注意的另一件事是机器人搜索引擎协议。尽管它被称为协议，但是Robots协议实际上是一个文本文件（robots.txt文件），而Robots是可以用于编辑的文本编辑器。

　　二：机器人协议的作用：

　　如果网站添加了漫游器协议，它可以阻止一些重复的页面，无效页面，无效链接，重要的业务信息，登录信息等。通过漫游器协议屏蔽某些网站信息不仅可以有效地提高质量的网站，还可以节省搜索引擎采集器的资源，以便搜索引擎采集器可以更快地搜寻需要爬网的网站信息，并丢弃需要爬网的信息。信息已爬网。

　　三：机器人协议的存放地点：

　　机器人协议必须存储在网站的根目录中，并且名称全为小写。内容应使用全角字符而不是半角字符。

　　四：机器人协议原则

　　当搜索引擎蜘蛛再次抓取网页时，它首先保存TXT纯文本（也称为网页快照），然后提取一些标签和标签，然后分离内部链接和外部链接以再次抓取。但这提出了一个问题。如果此页面上有一些您不希望被蜘蛛抓取的内容怎么办？机器人协议诞生了！

　　五：机器人协议的工作原理

　　采集器的工作方法就像蜘蛛沿着网络的链接上下爬行一样。最基本的过程可以简化如下：

　　1.为抓取工具提供了一些URL地址链接，我们称它们为*敏*感*词*（*敏*感*词*）；

　　2.采集器获取URL地址链接，解析html网页，然后提取超链接；

　　然后3.采集器来回爬行这些新发现的链接2、3指向的网页。

　　六：机器人协议语法：

　　robots.txt文件收录一个或多个记录，这些记录用空行分隔（CR，CR / CL或NL作为终止符），最基本的语法可以分为三段;

　　第1条：用户代理：

　　该值用于描述搜索引擎机器人的名称。 “ robots.txt”文件中至少应有一个用户代理记录。

　　第2条：禁止

　　此值用于描述您不想访问的URL地址。该URL可以是完整路径，也可以是不完整的路径。机械手将无法访问任何以Disallow开头的URL地址。

　　第三篇文章：Stiemap

　　网站映射通常分为两种类型，一种类型以.html作为后缀，另一种类型以.xml作为后缀。前者为用户提供对网站页面的快速访问，后者为搜索引擎采集器提供了快速访问网站结构和文件的机会。

　　七：机器人语法：

　　用户代理定义搜索引擎类型：

　　Baiduspider

　　Google蜘蛛Googlebot

　　360蜘蛛360spider

　　soso蜘蛛Sosospider

　　YoudaoBot蜘蛛

　　搜狗新

　　Disallow定义禁止抓取收录地址（禁止整个站点，禁止文件夹，禁止路径关键词，禁止动态路径，禁止文件）

　　允许定义允许提取收录个地址

　　语法符号

　　1. /一个匹配的搜索引擎会考虑根目录

　　2. *可以匹配0个或所有英文字符

　　3. $终止符

　　八.注意

　　1.了解使用细节

　　2.几天或两个月内的有效时间

　　3.站点地图网站地图