seo(搜索引擎优化)名词解释(SEO中常说的这个探测器(Robot)是什么)

　　seo(搜索引擎优化)名词解释(SEO中常说的这个探测器(Robot)是什么)

　　当服务器收到请求时，例如用户通过浏览器访问您的网页，服务器会向浏览器返回一个代码以响应该请求。一个代码叫做：HTTP状态码。

　　同理，当搜索引擎的Robot（机器人）或Crawler（爬虫）爬取你的网页时，服务器也会返回相应请求的HTTP状态码。

　　此 HTTP 状态代码提供有关请求状态的信息，告诉访问浏览器、搜索引擎机器人：baiduspider、Googlebot 等您的 网站 和请求的网页。

　　机器人

　　英文直译是机器人，在SEO中，我们经常翻译为：detector。

　　有时，你会遇到爬虫（crawler）、蜘蛛（spider），都是检测器之一，只是名称不同。

　　SEO中经常提到的这个检测器（Robot）是什么？

　　搜索引擎用来抓取网页的工具。它是一个软件或一系列自动程序（显然，不是机器）。

　　不同的搜索引擎给自己的检测器（机器人）起不同的名字。

　　Google: googlebot 百度: baiduspiderMSN: MSNbotYahoo: Slurp（这个来自yahoo的比较特殊，没有“姓”，用的是象声词。Slurp，中文理解是机器人吃饭时发出的tsk tsk声音）

　　关于Robot，主要需要关注的是Robots.txt，以及网站日志中收录的上述名称。

　　（组织于 搜外net）