网站和搜索引擎之间的协议需要注意什么？.txt

　　网站和搜索引擎之间的协议需要注意什么？.txt

　　搜索引擎协议就是我们通常所说的robots.txt。这是我们的网站和搜索引擎之间的协议。当搜索引擎出现网站时，它将首先检查是否存在此文件，然后继续进行下一步。但是需要注意的是，该协议只是我们的单方面协议，我们无法控制搜索引擎是否遵守该协议。但在正常情况下，搜索引擎将遵守该协议。

　　Robots.txt语法：

　　1.基本语法：

　　用户代理定义了协议的搜索引擎。

　　Disallow不允许抓取

　　允许爬行

　　*通配符，表示全部

　　$终止符

　　2.详细说明：

　　用户代理：*所有搜索引擎都必须遵守

　　PS：1.英文的第一个字母必须大写。下同。 2.问号必须为英文。下同。 3.问号后必须有一个空格。下面也一样。

　　用户代理：百度与百度的协议

　　不允许：/阻止所有站点

　　不允许：/ can /阻止can文件下的所有文件

　　允许：/ can / 123阻止can文件下的所有文件，但允许收录 123

　　不允许：/*.jpg$阻止所有图片文件。

　　PS：使用通配符，并且必须有一个终结符。否则，正常路径可能会被阻塞。

　　二、在这种情况下需要机器人

　　1.统一路径

　　在我们的网站中，页面必须只有一个且只有一个路径。一旦有多种指向页面的方法，百度将不会知道该页面。所以我们只需要阻止一个，让百度收录我们要让收录。

　　2.搜索路径

　　如果网站中有一个搜索框，则必须屏蔽搜索结果页面。目的是防止有人使用此搜索框造成麻烦。

　　3.标记路径

　　如果我们网站有标签页，则该标签页是中文链接，而百度无法识别该中文链接，因此应将其屏蔽。

　　4. js文件

　　对于js文件或其他无意义的文件，我们可以将其阻止。

　　注意：

　　1.基本语法中PS的要点。

　　2.有效时间

　　机器人是我们与搜索引擎之间的单方面协议。如果我们今天不写下来，那么百度明天就会遵守。通常需要两个月的时间才能使百度合规。但是，并不排除同一天的写作会在这一天生效。因此，在更换机器人时，必须小心，然后再小心。一旦您的机器人出现错误，对整个网站的影响将是巨大的。

　　3.不要随便封锁整个网站

　　当某些新手正在做网站时，他们没有计划，一经建立便立即建立。 网站不能一次全部完成，通常无法完成一半，因此许多新手会阻塞我们的全部网站。如果您愿意，那么我要向您表示祝贺，蜘蛛可能在接下来的两个月内不会访问您的网站。即使您去邀请蜘蛛，也不会来。因此，这里的新手建议是计划好网站并立即构建它们。等待收录。