搜索引擎优化有什么用(网站优化师会为网站添加上robots文件是做什么用的 )

　　搜索引擎优化有什么用(网站优化师会为网站添加上robots文件是做什么用的

)

　　网站优化时，优化器会添加一个robots文件到网站。robots文件是做什么用的？robots 文件告诉搜索引擎蜘蛛这个地址是一个 网站 映射。如果我们在有网站隐私文件阻止搜索引擎蜘蛛爬取的时候，可以在robots.txt中写入路径地址，我们可以在robots文件中添加Sitemap URL来帮助网站爬行 抓住机会。

　　机器人文件示例：

　　用户代理： *

　　禁止：/bin/

　　网站地图：

　　有些页面不想被搜索引擎搜索到 收录 我们可以使用 robots 元标记来解决问题。robots.txt 文件主要是限制蜘蛛对整个站点或目录的访问，而 robots 元标记主要是针对特定页面的。该标签放置在页面上，专门用于告诉搜索引擎蜘蛛如何抓取页面内容。

　　让我们看一下robots meta标签的几种使用方式：

　　1.内容部分的 robots 元标记中有 4 个命令选项：index、follow、noindex 和 nofollow。

　　follow 指令表示搜索引擎蜘蛛可以抓取此页面上的链接。

　　notollow 指令与follow 指令相反，表示搜索引擎蜘蛛无法抓取该页面上的链接。

　　index 指令告诉搜索引擎蜘蛛抓取页面。

　　noindex 指令与 index 指令相反，意味着搜索引擎蜘蛛无法抓取页面。

　　2. 在 robots 元标记中，name="robots" 表示所有搜索引擎，或特定搜索引擎。