SEO优化：禁止搜索引擎收录的方式

　　1. 什么是robots.txt文件?

　　搜索引擎使用spider程序手动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检测该网站的根域下是否有一个叫 做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中 声明 该网站中不想被搜索引擎收录的部份或则指定搜索引擎只收录特定的部份。

　　请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才须要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿构建robots.txt文件。

　　2. robots.txt文件置于那里?

　　robots.txt 文件应当放置在网站根目录下。举例来说，当spider访问一个网站（比如 ）时，首先会检测该网站中是否存在 robots.txt这个文件，如果 Spider找到这个文件，它还会依据这个文件的内容，来确定它访问权限的 范围。

　　网站 URL

　　相应的 robots.txt的 URL

　　:80/

　　:80/robots.txt

　　:1234/

　　:1234/robots.txt

　　3. 我在robots.txt中设置了严禁百度收录我网站的内容，为何还出现在百度搜索结果中？

　　如果其他网站链接了您robots.txt文件中设置的严禁收录的网页，那么这种网页依然可能会出现在百度的搜索结果中，但您的网页上的内容不会被抓取、建入索引和显示，百度搜索结果中展示的仅是其他网站对您相关网页的描述。

　　4. 禁止搜索引擎跟踪网页的链接，而只对网页建索引

　　如果您不想搜索引擎追踪此网页上的链接，且不传递链接的权重，请将此元标记置入网页的 部分：

　　如果您不想百度追踪某一条特定链接，百度还支持更精确的控制，请将此标记直接写在某条链接上：

　　signin

　　要容许其他搜索引擎跟踪，但仅避免百度跟踪您网页的链接，请将此元标记置入网页的 部分：

　　Baiduspider" content="nofollow">

　　5. 禁止搜索引擎在搜索结果中显示网页快照，而只对网页建索引

　　要避免所有搜索引擎显示您网站的快照，请将此元标记置入网页的部份：

　　要容许其他搜索引擎显示快照，但仅避免百度显示，请使用以下标记：

　　Baiduspider" content="noarchive">

　　注：此标记只是严禁百度显示该网页的快照，百度会继续为网页建索引，并在搜索结果中显示网页摘要。

　　6. 我想严禁百度图片搜索收录个别图片，该怎么设置？

　　禁止Baiduspider抓取网站上所有图片、禁止或容许Baiduspider抓取网站上的某种特定格式的图片文件可以通过设置robots实现，请参考“robots.txt文件用法举例”中的例10、11、12。

　　7. robots.txt文件的格式

　　"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：

　　":"

　　在该文件中可以使用#进行注解，具体使用方式和UNIX中的惯例一样。该文件中的记录一般以一行或多行User-agent开始搜索引擎禁止的方式优化网站，后面加上若干Disallow和Allow行,详细情况如下：

　　User-agent:

　　该项的值用于描述搜索引擎robot的名子。在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会 受 到"robots.txt"的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则对任何robot均有 效， 在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中，加 入"User- agent:SomeBot"和若干Disallow、Allow行，那么名为"SomeBot"只遭到"User- agent:SomeBot"后面的 Disallow和Allow行的限制。

　　Disallow:

　　该 项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会 被 robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、 /help /index.html，而"Disallow:/help/"则容许robot访问/help.html、/helpabc.html搜索引擎禁止的方式优化网站，不 能访问 /help/index.html。"Disallow:"说明容许robot访问该网站的所有url，在"/robots.txt"文件中，至 少要有一条Disallow记录。如果"/robots.txt"不存在或则为空文件，则对于所有的搜索引擎robot，该网站都是开放的。

　　Allow:

　　该项的值用于描述希望被访问的一组URL，与Disallow项相像，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头 的 URL 是容许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、 /hibaiducom.html、 /hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow一般与 Disallow搭配使用，实现准许访问一部分网页同时严禁访问其它所有URL的功能。

　　使用"*"and"$"：

　　Baiduspider支持使用转义"*"和"$"来模糊匹配url。

　　"$" 匹配行结束符。

　　"*" 匹配0或多个任意字符。

　　注：我们会严格遵循robots的相关合同，请注意分辨您不想被抓取或收录的目录的大小写，我们会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配，否则robots协议未能生效。

　　8. URL匹配举例

　　Allow或Disallow的值

　　URL

　　匹配结果

　　/tmp

　　/tmp

　　yes

　　/tmp

　　/tmp.html

　　yes

　　/tmp

　　/tmp/a.html

　　yes

　　/tmp

　　/tmphoho

　　no

　　/Hello*

　　/Hello.html

　　yes

　　/He*lo

　　/Hello,lolo

　　yes

　　/Heap*lo

　　/Hello,lolo

　　no

　　html$

　　/tmpa.html

　　yes

　　/a.html$

　　/a.html

　　yes

　　htm$

　　/a.html

　　no

　　9. robots.txt文件用法举例

　　例1. 禁止所有搜索引擎访问网站的任何部份

　　下载该robots.txt文件

　　User-agent: *

　　Disallow: /

　　例2. 允许所有的robot访问

　　(或者也可以建一个空文件 "/robots.txt")

　　User-agent: *

　　Allow: /

　　例3. 仅严禁Baiduspider访问您的网站

　　User-agent: Baiduspider

　　Disallow: /

　　例4. 仅容许Baiduspider访问您的网站

　　User-agent: Baiduspider

　　Allow: /

　　User-agent: *

　　Disallow: /

　　例5. 仅容许Baiduspider以及Googlebot访问

　　User-agent: Baiduspider

　　Allow: /

　　User-agent: Googlebot

　　Allow: /

　　User-agent: *

　　Disallow: /

　　例6. 禁止spider访问特定目录

　　在这个事例中，该网站有三个目录对搜索引擎的访问做了限制，即robot不会访问这三个目录。需要注意的是对每一个目录必须分开申明，而不能写成 "Disallow: /cgi-bin/ /tmp/"。

　　User-agent: *

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /~joe/

　　例7. 允许访问特定目录中的部份url

　　User-agent: *

　　Allow: /cgi-bin/see

　　Allow: /tmp/hi

　　Allow: /~joe/look

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /~joe/

　　例8. 使用"*"限制访问url

　　禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

　　User-agent: *

　　Disallow: /cgi-bin/*.htm

　　例9. 使用"$"限制访问url

　　仅准许访问以".htm"为后缀的URL。

　　User-agent: *

　　Allow: /*.htm$

　　Disallow: /

　　例10. 禁止访问网站中所有的动态页面

　　User-agent: *

　　Disallow: /*?*

　　例11. 禁止Baiduspider抓取网站上所有图片

　　仅容许抓取网页，禁止抓取任何图片。

　　User-agent: Baiduspider

　　Disallow: /*.jpg$

　　Disallow: /*.jpeg$

　　Disallow: /*.gif$

　　Disallow: /*.png$

　　Disallow: /*.bmp$

　　例12. 仅容许Baiduspider抓取网页和.gif格式图片

　　允许抓取网页和gif格式图片，不容许抓取其他格式图片

　　User-agent: Baiduspider

　　Allow: /*.gif$

　　Disallow: /*.jpg$

　　Disallow: /*.jpeg$

　　Disallow: /*.png$

　　Disallow: /*.bmp$

　　例13. 仅严禁Baiduspider抓取.jpg格式图片

　　User-agent: Baiduspider

　　Disallow: /*.jpg$

　　10. robots.txt文件参考资料

　　robots.txt文件的更具体设置,请参看以下链接：

　　Web Server Administrator's Guide to the Robots Exclusion Protocol

　　HTML Author's Guide to the Robots Exclusion Protocol

　　The original 1994 protocol description, as currently deployed

　　The revised Internet-Draft specification, which is not yet completed or implemented