robots协议
Robots合同探究：如何好好借助爬虫提升网站权重
采集交流 • 优采云 发表了文章 • 0 个评论 • 255 次浏览 • 2020-06-17 08:02
Baiduspider-favo
百度联盟
Baiduspider-cpro
上午搜索
Baiduspider-ads
Disallow列举的是要屏蔽（禁止搜索引擎访问）的网页，以正斜线 / 开头。
如要屏蔽整个网站，直接使用正斜线即可；
User-agent: *
Disallow: /
屏蔽某个特定的目录以及其中的所有内容，则在目录名后添加正斜线；
User-agent: *
Disallow: /admin/
Disallow: /doc/app
使用 "*" and "$" ：Baiduspider支持使用转义 "*" 和 "$" 来模糊匹配url。
"*" 匹配0或多个任意字符
"$" 匹配行结束符。
屏蔽以 plug- 开头的所有子目录：用到 *
User-agent: *
Disallow: /plug-*/
屏蔽 php 结尾的文件：用到 $
User-agent: *
Disallow: /*.php$
屏蔽某个具体的页面：
User-agent: *
Disallow: /admin/index.html
屏蔽所有的动态页面：
User-agent: *
Disallow: /*?*
禁止个别爬虫访问
已屏蔽 Badbot 为例：
User-agent: BadBot
Disallow: /
只容许某个爬虫访问
以百度爬虫为例：
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
或者：
User-agent: Baiduspider
Allow: /
User-agent: *
Disallow: /
允许所有的robots访问
User-agent: *
Disallow:
或者是：
User-agent: *
Allow: /
或者也可以建一个空文件 "/robots.txt"。
屏蔽网站中的图片、视频等文件：
User-agent: *
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.bmp$
Disallow: /*.mp4$
Disallow: /*.rmvb$
只准许访问 .html 结尾的 url
Allow: /*.html$
User-agent: *
Disallow:
我们再来结合两个真实的范例来学习一下。
先看这个事例：
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
这个是淘宝网的Robots协议内容，相信你早已看下来了，淘宝网严禁百度的爬虫访问。
再来看一个事例：
User-agent: *
Disallow: /?*
Disallow: /pop/*.html
User-agent: EtaoSpider
Disallow: /
这个稍稍复杂点，京东有2个目录不希望所有的爬虫来抓。同时怎么利用爬虫技术 提高网站排名，京东完全屏蔽了一淘网的蜘蛛（EtaoSpider是一淘网的蜘蛛）。
前面说过爬虫会通过网页内部的链接发觉新的网页。但是若果没有联接指向的网页怎样办?或者用户输入条件生成的动态网页怎样办?能否使网站管理员通知搜索引擎她们网站上有什么可供抓取的网页?这就是sitemap，最简单的 Sitepmap 形式就是 XML 文件，在其中列举网站中的网址以及关于每位网址的其他数据(上次更新的时间、更改的频度以及相对于网站上其他网址的重要程度等等)，利用这种信息搜索引擎可以愈发智能地抓取网站内容。
新的问题来了，爬虫如何晓得这个网站有没有提供sitemap文件，或者说网站管理员生成了sitemap，(可能是多个文件)，爬虫如何晓得放到那里呢?
由于robots.txt的位置是固定的，于是你们就想到了把sitemap的位置信息置于robots.txt里。这就成为robots.txt里的新成员了。
节选一段google robots.txt：
Sitemap:
Sitemap:
插一句，考虑到一个网站的网页诸多，sitemap人工维护不太靠谱，google提供了工具可以手动生成sitemap。
其实严格来说这部份内容不属于robots.txt。
robots.txt的本意是为了使网站管理员管理可以出现在搜索引擎里的网站内容。但是，即使使用 robots.txt 文件使爬虫未能抓取那些内容，搜索引擎也可以通过其他方法找到这种网页并将它添加到索引中。例如，其他网站仍可能链接到该网站。因此，网页网址及其他公开的信息(如指向相关网站的链接中的定位文字或开放式目录管理系统中的标题)有可能会出现在引擎的搜索结果中。如果想彻底对搜索引擎隐身那咋办呢?答案是：元标记，即meta tag。
比如要完全制止一个网页的内容列在搜索引擎索引中(即使有其他网站链接到此网页)，可使用 noindex 元标记。只要搜索引擎查看该网页，便会听到 noindex 元标记并制止该网页显示在索引中，这里注意noindex元标记提供的是一种逐页控制对网站的访问的形式。
要避免所有搜索引擎将网站中的网页编入索引，在网页的部份添加：
<meta name="robots" content="noindex">
这里的name取值可以设置为某个搜索引擎的User-agent因而指定屏蔽某一个搜索引擎。
除了noindex外，还有其他元标记，比如说nofollow，禁止爬虫自此页面中跟踪链接。详细信息可以参考Google支持的元标记，这里提一句：noindex和nofollow在HTML 4.01规范里有描述，但是其他tag的在不同引擎支持到哪些程度各不相同，还请读者自行查阅各个引擎的说明文档。
除了控制什么可以抓什么不能抓之外，robots.txt还可以拿来控制爬虫抓取的速度。如何做到的呢?通过设置爬虫在两次抓取之间等待的秒数。
Crawl-delay:5
表示本次抓取后下一次抓取前须要等待5秒。
注意：google早已不支持这些方法了，在webmaster tools里提供了一个功能可以更直观的控制抓取速度。
这里插一句正题，几年前以前有一段时间robots.txt还支持复杂的参数:Visit-time，只有在visit-time指定的时间段里，爬虫才可以访问;Request-rate: 用来限制URL的读取频度，用于控制不同的时间段采用不同的抓取速度。后来恐怕支持的人很少，就逐渐的废黜了，目前google和baidu都早已不支持这个规则了，其他小的引擎公司其实从来都没有支持过。
Robots协议不是哪些技术壁垒，而只是一种相互尊重的合同，好比私家花园的旁边挂着“闲人免进”，尊重者绕道而行，不尊重者仍然可以推门而入。目前，Robots协议在实际使用中，还存在一些问题。
robots.txt本身也是须要抓取的，出于效率考虑，一般爬虫不会每次抓取网站网页前都抓一下robots.txt，加上robots.txt更新不频繁，内容须要解析。通常爬虫的做法是先抓取一次，解析后缓存出来，而且是相当长的时间。假设网站管理员更新了robots.txt，修改了个别规则，但是对爬虫来说并不会立即生效，只有当爬虫上次抓取robots.txt以后才会看见最新的内容。尴尬的是，爬虫上次抓取robots.txt的时间并不是由网站管理员控制的。当然，有些搜索引擎提供了web 工具可以使网站管理员通知搜索引擎那种url发生了变化，建议重新抓取。注意，此处是建议，即使你通知了搜索引擎，搜索引擎何时抓取一直是不确定的，只是比完全不通知要好点。至于好多少，那就看搜索引擎的良心和技术能力了。
不知是无意还是有意，反正有些爬虫不太遵循或则完全忽视robots.txt，不排除开发人员能力的问题，比如说根本不知道robots.txt。另外，本身robots.txt不是一种强制举措怎么利用爬虫技术 提高网站排名，如果网站有数据须要保密，必需采取技术举措，比如说：用户验证，加密，ip拦截，访问频度控制等。
在互联网世界中，每天都有不计其数的爬虫在日夜不息地爬取数据，其中恶意爬虫的数目甚至低于非恶意爬虫。遵守Robots协议的爬虫才是好爬虫，但是并不是每位爬虫就会主动违背Robots协议。
恶意爬虫可以带来好多潜在恐吓，比如电商网站的商品信息被爬取可能会被竞争对手借助，过多的爬虫都会占用带宽资源、甚至造成网站宕机。
反恶意爬虫是一件漫长而繁重的任务，如果借助自身实力无法解决，可以利用岂安科技的业务风险剖析平台 WARDEN 来反恶意爬虫，根据自己的需求来订制功能。 查看全部
百度联盟
Baiduspider-cpro
上午搜索
Baiduspider-ads
Disallow列举的是要屏蔽（禁止搜索引擎访问）的网页，以正斜线 / 开头。
如要屏蔽整个网站，直接使用正斜线即可；
User-agent: *
Disallow: /
屏蔽某个特定的目录以及其中的所有内容，则在目录名后添加正斜线；
User-agent: *
Disallow: /admin/
Disallow: /doc/app
使用 "*" and "$" ：Baiduspider支持使用转义 "*" 和 "$" 来模糊匹配url。
"*" 匹配0或多个任意字符
"$" 匹配行结束符。
屏蔽以 plug- 开头的所有子目录：用到 *
User-agent: *
Disallow: /plug-*/
屏蔽 php 结尾的文件：用到 $
User-agent: *
Disallow: /*.php$
屏蔽某个具体的页面：
User-agent: *
Disallow: /admin/index.html
屏蔽所有的动态页面：
User-agent: *
Disallow: /*?*
禁止个别爬虫访问
已屏蔽 Badbot 为例：
User-agent: BadBot
Disallow: /
只容许某个爬虫访问
以百度爬虫为例：
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
或者：
User-agent: Baiduspider
Allow: /
User-agent: *
Disallow: /
允许所有的robots访问
User-agent: *
Disallow:
或者是：
User-agent: *
Allow: /
或者也可以建一个空文件 "/robots.txt"。
屏蔽网站中的图片、视频等文件：
User-agent: *
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.bmp$
Disallow: /*.mp4$
Disallow: /*.rmvb$
只准许访问 .html 结尾的 url
Allow: /*.html$
User-agent: *
Disallow:
我们再来结合两个真实的范例来学习一下。
先看这个事例：
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
这个是淘宝网的Robots协议内容，相信你早已看下来了，淘宝网严禁百度的爬虫访问。
再来看一个事例：
User-agent: *
Disallow: /?*
Disallow: /pop/*.html
User-agent: EtaoSpider
Disallow: /
这个稍稍复杂点，京东有2个目录不希望所有的爬虫来抓。同时怎么利用爬虫技术 提高网站排名，京东完全屏蔽了一淘网的蜘蛛（EtaoSpider是一淘网的蜘蛛）。
前面说过爬虫会通过网页内部的链接发觉新的网页。但是若果没有联接指向的网页怎样办?或者用户输入条件生成的动态网页怎样办?能否使网站管理员通知搜索引擎她们网站上有什么可供抓取的网页?这就是sitemap，最简单的 Sitepmap 形式就是 XML 文件，在其中列举网站中的网址以及关于每位网址的其他数据(上次更新的时间、更改的频度以及相对于网站上其他网址的重要程度等等)，利用这种信息搜索引擎可以愈发智能地抓取网站内容。
新的问题来了，爬虫如何晓得这个网站有没有提供sitemap文件，或者说网站管理员生成了sitemap，(可能是多个文件)，爬虫如何晓得放到那里呢?
由于robots.txt的位置是固定的，于是你们就想到了把sitemap的位置信息置于robots.txt里。这就成为robots.txt里的新成员了。
节选一段google robots.txt：
Sitemap:
Sitemap:
插一句，考虑到一个网站的网页诸多，sitemap人工维护不太靠谱，google提供了工具可以手动生成sitemap。
其实严格来说这部份内容不属于robots.txt。
robots.txt的本意是为了使网站管理员管理可以出现在搜索引擎里的网站内容。但是，即使使用 robots.txt 文件使爬虫未能抓取那些内容，搜索引擎也可以通过其他方法找到这种网页并将它添加到索引中。例如，其他网站仍可能链接到该网站。因此，网页网址及其他公开的信息(如指向相关网站的链接中的定位文字或开放式目录管理系统中的标题)有可能会出现在引擎的搜索结果中。如果想彻底对搜索引擎隐身那咋办呢?答案是：元标记，即meta tag。
比如要完全制止一个网页的内容列在搜索引擎索引中(即使有其他网站链接到此网页)，可使用 noindex 元标记。只要搜索引擎查看该网页，便会听到 noindex 元标记并制止该网页显示在索引中，这里注意noindex元标记提供的是一种逐页控制对网站的访问的形式。
要避免所有搜索引擎将网站中的网页编入索引，在网页的部份添加：
<meta name="robots" content="noindex">
这里的name取值可以设置为某个搜索引擎的User-agent因而指定屏蔽某一个搜索引擎。
除了noindex外，还有其他元标记，比如说nofollow，禁止爬虫自此页面中跟踪链接。详细信息可以参考Google支持的元标记，这里提一句：noindex和nofollow在HTML 4.01规范里有描述，但是其他tag的在不同引擎支持到哪些程度各不相同，还请读者自行查阅各个引擎的说明文档。
除了控制什么可以抓什么不能抓之外，robots.txt还可以拿来控制爬虫抓取的速度。如何做到的呢?通过设置爬虫在两次抓取之间等待的秒数。
Crawl-delay:5
表示本次抓取后下一次抓取前须要等待5秒。
注意：google早已不支持这些方法了，在webmaster tools里提供了一个功能可以更直观的控制抓取速度。
这里插一句正题，几年前以前有一段时间robots.txt还支持复杂的参数:Visit-time，只有在visit-time指定的时间段里，爬虫才可以访问;Request-rate: 用来限制URL的读取频度，用于控制不同的时间段采用不同的抓取速度。后来恐怕支持的人很少，就逐渐的废黜了，目前google和baidu都早已不支持这个规则了，其他小的引擎公司其实从来都没有支持过。
Robots协议不是哪些技术壁垒，而只是一种相互尊重的合同，好比私家花园的旁边挂着“闲人免进”，尊重者绕道而行，不尊重者仍然可以推门而入。目前，Robots协议在实际使用中，还存在一些问题。
robots.txt本身也是须要抓取的，出于效率考虑，一般爬虫不会每次抓取网站网页前都抓一下robots.txt，加上robots.txt更新不频繁，内容须要解析。通常爬虫的做法是先抓取一次，解析后缓存出来，而且是相当长的时间。假设网站管理员更新了robots.txt，修改了个别规则，但是对爬虫来说并不会立即生效，只有当爬虫上次抓取robots.txt以后才会看见最新的内容。尴尬的是，爬虫上次抓取robots.txt的时间并不是由网站管理员控制的。当然，有些搜索引擎提供了web 工具可以使网站管理员通知搜索引擎那种url发生了变化，建议重新抓取。注意，此处是建议，即使你通知了搜索引擎，搜索引擎何时抓取一直是不确定的，只是比完全不通知要好点。至于好多少，那就看搜索引擎的良心和技术能力了。
不知是无意还是有意，反正有些爬虫不太遵循或则完全忽视robots.txt，不排除开发人员能力的问题，比如说根本不知道robots.txt。另外，本身robots.txt不是一种强制举措怎么利用爬虫技术 提高网站排名，如果网站有数据须要保密，必需采取技术举措，比如说：用户验证，加密，ip拦截，访问频度控制等。
在互联网世界中，每天都有不计其数的爬虫在日夜不息地爬取数据，其中恶意爬虫的数目甚至低于非恶意爬虫。遵守Robots协议的爬虫才是好爬虫，但是并不是每位爬虫就会主动违背Robots协议。
恶意爬虫可以带来好多潜在恐吓，比如电商网站的商品信息被爬取可能会被竞争对手借助，过多的爬虫都会占用带宽资源、甚至造成网站宕机。
反恶意爬虫是一件漫长而繁重的任务，如果借助自身实力无法解决，可以利用岂安科技的业务风险剖析平台 WARDEN 来反恶意爬虫，根据自己的需求来订制功能。 查看全部
Baiduspider-favo
百度联盟
Baiduspider-cpro
上午搜索
Baiduspider-ads
Disallow列举的是要屏蔽（禁止搜索引擎访问）的网页，以正斜线 / 开头。
如要屏蔽整个网站，直接使用正斜线即可；
User-agent: *
Disallow: /
屏蔽某个特定的目录以及其中的所有内容，则在目录名后添加正斜线；
User-agent: *
Disallow: /admin/
Disallow: /doc/app
使用 "*" and "$" ：Baiduspider支持使用转义 "*" 和 "$" 来模糊匹配url。
"*" 匹配0或多个任意字符
"$" 匹配行结束符。
屏蔽以 plug- 开头的所有子目录：用到 *
User-agent: *
Disallow: /plug-*/
屏蔽 php 结尾的文件：用到 $
User-agent: *
Disallow: /*.php$
屏蔽某个具体的页面：
User-agent: *
Disallow: /admin/index.html
屏蔽所有的动态页面：
User-agent: *
Disallow: /*?*
禁止个别爬虫访问
已屏蔽 Badbot 为例：
User-agent: BadBot
Disallow: /
只容许某个爬虫访问
以百度爬虫为例：
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
或者：
User-agent: Baiduspider
Allow: /
User-agent: *
Disallow: /
允许所有的robots访问
User-agent: *
Disallow:
或者是：
User-agent: *
Allow: /
或者也可以建一个空文件 "/robots.txt"。
屏蔽网站中的图片、视频等文件：
User-agent: *
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.bmp$
Disallow: /*.mp4$
Disallow: /*.rmvb$
只准许访问 .html 结尾的 url
Allow: /*.html$
User-agent: *
Disallow:
我们再来结合两个真实的范例来学习一下。
先看这个事例：
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
这个是淘宝网的Robots协议内容，相信你早已看下来了，淘宝网严禁百度的爬虫访问。
再来看一个事例：
User-agent: *
Disallow: /?*
Disallow: /pop/*.html
User-agent: EtaoSpider
Disallow: /
这个稍稍复杂点，京东有2个目录不希望所有的爬虫来抓。同时怎么利用爬虫技术 提高网站排名，京东完全屏蔽了一淘网的蜘蛛（EtaoSpider是一淘网的蜘蛛）。
前面说过爬虫会通过网页内部的链接发觉新的网页。但是若果没有联接指向的网页怎样办?或者用户输入条件生成的动态网页怎样办?能否使网站管理员通知搜索引擎她们网站上有什么可供抓取的网页?这就是sitemap，最简单的 Sitepmap 形式就是 XML 文件，在其中列举网站中的网址以及关于每位网址的其他数据(上次更新的时间、更改的频度以及相对于网站上其他网址的重要程度等等)，利用这种信息搜索引擎可以愈发智能地抓取网站内容。
新的问题来了，爬虫如何晓得这个网站有没有提供sitemap文件，或者说网站管理员生成了sitemap，(可能是多个文件)，爬虫如何晓得放到那里呢?
由于robots.txt的位置是固定的，于是你们就想到了把sitemap的位置信息置于robots.txt里。这就成为robots.txt里的新成员了。
节选一段google robots.txt：
Sitemap:
Sitemap:
插一句，考虑到一个网站的网页诸多，sitemap人工维护不太靠谱，google提供了工具可以手动生成sitemap。
其实严格来说这部份内容不属于robots.txt。
robots.txt的本意是为了使网站管理员管理可以出现在搜索引擎里的网站内容。但是，即使使用 robots.txt 文件使爬虫未能抓取那些内容，搜索引擎也可以通过其他方法找到这种网页并将它添加到索引中。例如，其他网站仍可能链接到该网站。因此，网页网址及其他公开的信息(如指向相关网站的链接中的定位文字或开放式目录管理系统中的标题)有可能会出现在引擎的搜索结果中。如果想彻底对搜索引擎隐身那咋办呢?答案是：元标记，即meta tag。
比如要完全制止一个网页的内容列在搜索引擎索引中(即使有其他网站链接到此网页)，可使用 noindex 元标记。只要搜索引擎查看该网页，便会听到 noindex 元标记并制止该网页显示在索引中，这里注意noindex元标记提供的是一种逐页控制对网站的访问的形式。
要避免所有搜索引擎将网站中的网页编入索引，在网页的部份添加：
<meta name="robots" content="noindex">
这里的name取值可以设置为某个搜索引擎的User-agent因而指定屏蔽某一个搜索引擎。
除了noindex外，还有其他元标记，比如说nofollow，禁止爬虫自此页面中跟踪链接。详细信息可以参考Google支持的元标记，这里提一句：noindex和nofollow在HTML 4.01规范里有描述，但是其他tag的在不同引擎支持到哪些程度各不相同，还请读者自行查阅各个引擎的说明文档。
除了控制什么可以抓什么不能抓之外，robots.txt还可以拿来控制爬虫抓取的速度。如何做到的呢?通过设置爬虫在两次抓取之间等待的秒数。
Crawl-delay:5
表示本次抓取后下一次抓取前须要等待5秒。
注意：google早已不支持这些方法了，在webmaster tools里提供了一个功能可以更直观的控制抓取速度。
这里插一句正题，几年前以前有一段时间robots.txt还支持复杂的参数:Visit-time，只有在visit-time指定的时间段里，爬虫才可以访问;Request-rate: 用来限制URL的读取频度，用于控制不同的时间段采用不同的抓取速度。后来恐怕支持的人很少，就逐渐的废黜了，目前google和baidu都早已不支持这个规则了，其他小的引擎公司其实从来都没有支持过。
Robots协议不是哪些技术壁垒，而只是一种相互尊重的合同，好比私家花园的旁边挂着“闲人免进”，尊重者绕道而行，不尊重者仍然可以推门而入。目前，Robots协议在实际使用中，还存在一些问题。
robots.txt本身也是须要抓取的，出于效率考虑，一般爬虫不会每次抓取网站网页前都抓一下robots.txt，加上robots.txt更新不频繁，内容须要解析。通常爬虫的做法是先抓取一次，解析后缓存出来，而且是相当长的时间。假设网站管理员更新了robots.txt，修改了个别规则，但是对爬虫来说并不会立即生效，只有当爬虫上次抓取robots.txt以后才会看见最新的内容。尴尬的是，爬虫上次抓取robots.txt的时间并不是由网站管理员控制的。当然，有些搜索引擎提供了web 工具可以使网站管理员通知搜索引擎那种url发生了变化，建议重新抓取。注意，此处是建议，即使你通知了搜索引擎，搜索引擎何时抓取一直是不确定的，只是比完全不通知要好点。至于好多少，那就看搜索引擎的良心和技术能力了。
不知是无意还是有意，反正有些爬虫不太遵循或则完全忽视robots.txt，不排除开发人员能力的问题，比如说根本不知道robots.txt。另外，本身robots.txt不是一种强制举措怎么利用爬虫技术 提高网站排名，如果网站有数据须要保密，必需采取技术举措，比如说：用户验证，加密，ip拦截，访问频度控制等。
在互联网世界中，每天都有不计其数的爬虫在日夜不息地爬取数据，其中恶意爬虫的数目甚至低于非恶意爬虫。遵守Robots协议的爬虫才是好爬虫，但是并不是每位爬虫就会主动违背Robots协议。
恶意爬虫可以带来好多潜在恐吓，比如电商网站的商品信息被爬取可能会被竞争对手借助，过多的爬虫都会占用带宽资源、甚至造成网站宕机。
反恶意爬虫是一件漫长而繁重的任务，如果借助自身实力无法解决，可以利用岂安科技的业务风险剖析平台 WARDEN 来反恶意爬虫，根据自己的需求来订制功能。
Robots协议是哪些？
采集交流 • 优采云 发表了文章 • 0 个评论 • 222 次浏览 • 2020-05-09 08:01
网络爬虫似乎是一种黑色产业！没有法律规定爬虫是违规的，也没有法律规定爬虫不违规，主要看爬取数据的类型，如：
一般来说，高度敏感的数据根本爬不了；如果是公司要求爬的，那出了事情就是公司的责任。
如果有些东西您不能确认是不是违规，可以向身边律师同事咨询或则百度微软，切莫存侥幸心理！
屏幕后面的您心中一定要有杆称，搞爬虫真的可能会入狱的。信息犯罪似乎是直接入狱的，而且不是按天算的，毕竟玫瑰金手铐可摆在哪里呢！
这杆称就是 Robot.txt 协议。不过，Robot.txt 对学习聚焦型爬虫的我们帮助不大，就当一个常识学一下，也可以按照 Robot.txt 协议列举的网页作为指标关于网络爬虫协议文件robotstxt，Robot.txt 协议容许的网页我们能够爬，不容许的就不爬呗。
Robots 协议是互联网爬虫的一项公认的道德规范，全称是“网络爬虫排除标准（Robots exclusion protocol）”关于网络爬虫协议文件robotstxt，这个合同拿来告诉通用型爬虫，哪些页面是可以抓取的，哪些不可以。
大多数网站都有 Robots 协议，那怎么查看网站的 Robots 协议呢 ？
很简单，在网站的根目录域名后加上/robots.txt就可以了。例如，通过 这个链接可以查看网店的 Robots 协议。
User-agent: * #所有爬虫，如百度、谷歌、必应
Disallow: /subject_search #禁止访问 /subject_search
Disallow: /amazon_search
Disallow: /search
Disallow: /group/search
Disallow: /event/search
Disallow: /celebrities/search
Disallow: /location/drama/search
Disallow: /forum/
Disallow: /new_subject
Disallow: /service/iframe
Disallow: /j/
Disallow: /link2/
Disallow: /recommend/
Disallow: /doubanapp/card
Disallow: /update/topic/
Allow: /ads.txt #允许访问 /ads.txt
Sitemap: https://www.douban.com/sitemap_index.xml
Sitemap: https://www.douban.com/sitemap_updated_index.xml
#sitemap文件里面是新产生的URL，有豆瓣网前一天的影评、书评、帖子等等，可以减少网站的带宽消耗。
User-agent: Wandoujia Spider #如果是豌豆荚爬虫
Disallow: / #禁止访问所有页面(完全屏蔽)
User-agent: Mediapartners-Google #谷歌的广告爬虫，当网页投放了谷歌的广告时，他就会来抓取，对网页进行分析，然后投放最佳的广告...
Disallow: /subject_search #禁止访问 /subject_search
Disallow: /amazon_search
Disallow: /search
Disallow: /group/search
Disallow: /event/search
Disallow: /celebrities/search
Disallow: /location/drama/search
Disallow: /j/
Allow 代表准许访问，Disallow 就是严禁访问，User-agent 可以判定是哪家爬虫，经常形成新数据网站 sitemap 文件会用的比较多。
豆瓣的 robots.txt 文件表示：
常见的搜索引擎爬虫有：
因为网站上的目录貌似就是笔记本里的文件夹，robots.txt 协议处于网站的根目录下，任何人都可以直接输入路径打开并查看上面的内容，就可以比较清楚的了解网站的结构。
robots.txt 相关新闻：
黑客方法也可以通过 robots.txt 协议听到这个网站是不是一个网站模版系统建成的。比如，我在某个网站的域名后加上/robots.txt：
通过剖析里面这份 Robots 协议，发现这个网站是 DedeCMS 模板搭建而成（/plus/ad_js.php 等都是 DedeCMS 网站通用的）。
DedeCMS 模版原型如下：
不妨试一试，打开以下 URL：
:8010/csrf/uploads
如果在根目录域名后加/dede，可步入后台。
它的登陆用户名是 admin，登录密码是 admin123。
黑客们也是通过类似的方法获取网站的管理权限......如找寻当前模版版本的通杀漏洞、字典爆破管理员密码等。 查看全部
一般来说，高度敏感的数据根本爬不了；如果是公司要求爬的，那出了事情就是公司的责任。
如果有些东西您不能确认是不是违规，可以向身边律师同事咨询或则百度微软，切莫存侥幸心理！
屏幕后面的您心中一定要有杆称，搞爬虫真的可能会入狱的。信息犯罪似乎是直接入狱的，而且不是按天算的，毕竟玫瑰金手铐可摆在哪里呢！
这杆称就是 Robot.txt 协议。不过，Robot.txt 对学习聚焦型爬虫的我们帮助不大，就当一个常识学一下，也可以按照 Robot.txt 协议列举的网页作为指标关于网络爬虫协议文件robotstxt，Robot.txt 协议容许的网页我们能够爬，不容许的就不爬呗。
Robots 协议是互联网爬虫的一项公认的道德规范，全称是“网络爬虫排除标准（Robots exclusion protocol）”关于网络爬虫协议文件robotstxt，这个合同拿来告诉通用型爬虫，哪些页面是可以抓取的，哪些不可以。
大多数网站都有 Robots 协议，那怎么查看网站的 Robots 协议呢 ？
很简单，在网站的根目录域名后加上/robots.txt就可以了。例如，通过 这个链接可以查看网店的 Robots 协议。
User-agent: * #所有爬虫，如百度、谷歌、必应
Disallow: /subject_search #禁止访问 /subject_search
Disallow: /amazon_search
Disallow: /search
Disallow: /group/search
Disallow: /event/search
Disallow: /celebrities/search
Disallow: /location/drama/search
Disallow: /forum/
Disallow: /new_subject
Disallow: /service/iframe
Disallow: /j/
Disallow: /link2/
Disallow: /recommend/
Disallow: /doubanapp/card
Disallow: /update/topic/
Allow: /ads.txt #允许访问 /ads.txt
Sitemap: https://www.douban.com/sitemap_index.xml
Sitemap: https://www.douban.com/sitemap_updated_index.xml
#sitemap文件里面是新产生的URL，有豆瓣网前一天的影评、书评、帖子等等，可以减少网站的带宽消耗。
User-agent: Wandoujia Spider #如果是豌豆荚爬虫
Disallow: / #禁止访问所有页面(完全屏蔽)
User-agent: Mediapartners-Google #谷歌的广告爬虫，当网页投放了谷歌的广告时，他就会来抓取，对网页进行分析，然后投放最佳的广告...
Disallow: /subject_search #禁止访问 /subject_search
Disallow: /amazon_search
Disallow: /search
Disallow: /group/search
Disallow: /event/search
Disallow: /celebrities/search
Disallow: /location/drama/search
Disallow: /j/
Allow 代表准许访问，Disallow 就是严禁访问，User-agent 可以判定是哪家爬虫，经常形成新数据网站 sitemap 文件会用的比较多。
豆瓣的 robots.txt 文件表示：
常见的搜索引擎爬虫有：
因为网站上的目录貌似就是笔记本里的文件夹，robots.txt 协议处于网站的根目录下，任何人都可以直接输入路径打开并查看上面的内容，就可以比较清楚的了解网站的结构。
robots.txt 相关新闻：
黑客方法也可以通过 robots.txt 协议听到这个网站是不是一个网站模版系统建成的。比如，我在某个网站的域名后加上/robots.txt：
通过剖析里面这份 Robots 协议，发现这个网站是 DedeCMS 模板搭建而成（/plus/ad_js.php 等都是 DedeCMS 网站通用的）。
DedeCMS 模版原型如下：
不妨试一试，打开以下 URL：
:8010/csrf/uploads
如果在根目录域名后加/dede，可步入后台。
它的登陆用户名是 admin，登录密码是 admin123。
黑客们也是通过类似的方法获取网站的管理权限......如找寻当前模版版本的通杀漏洞、字典爆破管理员密码等。 查看全部
网络爬虫似乎是一种黑色产业！没有法律规定爬虫是违规的，也没有法律规定爬虫不违规，主要看爬取数据的类型，如：
一般来说，高度敏感的数据根本爬不了；如果是公司要求爬的，那出了事情就是公司的责任。
如果有些东西您不能确认是不是违规，可以向身边律师同事咨询或则百度微软，切莫存侥幸心理！
屏幕后面的您心中一定要有杆称，搞爬虫真的可能会入狱的。信息犯罪似乎是直接入狱的，而且不是按天算的，毕竟玫瑰金手铐可摆在哪里呢！
这杆称就是 Robot.txt 协议。不过，Robot.txt 对学习聚焦型爬虫的我们帮助不大，就当一个常识学一下，也可以按照 Robot.txt 协议列举的网页作为指标关于网络爬虫协议文件robotstxt，Robot.txt 协议容许的网页我们能够爬，不容许的就不爬呗。
Robots 协议是互联网爬虫的一项公认的道德规范，全称是“网络爬虫排除标准（Robots exclusion protocol）”关于网络爬虫协议文件robotstxt，这个合同拿来告诉通用型爬虫，哪些页面是可以抓取的，哪些不可以。
大多数网站都有 Robots 协议，那怎么查看网站的 Robots 协议呢 ？
很简单，在网站的根目录域名后加上/robots.txt就可以了。例如，通过 这个链接可以查看网店的 Robots 协议。
User-agent: * #所有爬虫，如百度、谷歌、必应
Disallow: /subject_search #禁止访问 /subject_search
Disallow: /amazon_search
Disallow: /search
Disallow: /group/search
Disallow: /event/search
Disallow: /celebrities/search
Disallow: /location/drama/search
Disallow: /forum/
Disallow: /new_subject
Disallow: /service/iframe
Disallow: /j/
Disallow: /link2/
Disallow: /recommend/
Disallow: /doubanapp/card
Disallow: /update/topic/
Allow: /ads.txt #允许访问 /ads.txt
Sitemap: https://www.douban.com/sitemap_index.xml
Sitemap: https://www.douban.com/sitemap_updated_index.xml
#sitemap文件里面是新产生的URL，有豆瓣网前一天的影评、书评、帖子等等，可以减少网站的带宽消耗。
User-agent: Wandoujia Spider #如果是豌豆荚爬虫
Disallow: / #禁止访问所有页面(完全屏蔽)
User-agent: Mediapartners-Google #谷歌的广告爬虫，当网页投放了谷歌的广告时，他就会来抓取，对网页进行分析，然后投放最佳的广告...
Disallow: /subject_search #禁止访问 /subject_search
Disallow: /amazon_search
Disallow: /search
Disallow: /group/search
Disallow: /event/search
Disallow: /celebrities/search
Disallow: /location/drama/search
Disallow: /j/
Allow 代表准许访问，Disallow 就是严禁访问，User-agent 可以判定是哪家爬虫，经常形成新数据网站 sitemap 文件会用的比较多。
豆瓣的 robots.txt 文件表示：
常见的搜索引擎爬虫有：
因为网站上的目录貌似就是笔记本里的文件夹，robots.txt 协议处于网站的根目录下，任何人都可以直接输入路径打开并查看上面的内容，就可以比较清楚的了解网站的结构。
robots.txt 相关新闻：
黑客方法也可以通过 robots.txt 协议听到这个网站是不是一个网站模版系统建成的。比如，我在某个网站的域名后加上/robots.txt：
通过剖析里面这份 Robots 协议，发现这个网站是 DedeCMS 模板搭建而成（/plus/ad_js.php 等都是 DedeCMS 网站通用的）。
DedeCMS 模版原型如下：
不妨试一试，打开以下 URL：
:8010/csrf/uploads
如果在根目录域名后加/dede，可步入后台。
它的登陆用户名是 admin，登录密码是 admin123。
黑客们也是通过类似的方法获取网站的管理权限......如找寻当前模版版本的通杀漏洞、字典爆破管理员密码等。
网站根目录下的robots.txt写法和robots txt合同规则
采集交流 • 优采云 发表了文章 • 0 个评论 • 329 次浏览 • 2020-05-08 08:03
网站根目录下的robots txt文件是献给搜索引擎“看”的，用户网站通过Robots协议告诉搜索引擎什么页面可以抓取，哪些页面不能抓取。例如网站后台管理系统关于网络爬虫协议文件robotstxt，或者涉及到隐私的内容，或者秘密内容关于网络爬虫协议文件robotstxt，或者仅限小范围传播的内容。虽然此文件没有任何外部的链接，但是通常情况下，搜索引擎还是会定期手动检索网站的根目录是否存在此文件。
如果您想使搜索引擎抓取收录网站上所有内容，请设置网站根目录下的robots.txt文件内容为空，或者删掉网站根目录下的robots.txt文件。
Robots协议（也称为爬虫协议、机器人合同等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol）。
robots.txt并不是某一个公司制订的，真实Robots协议的起源，是在互联网从业人员的公开邮件组上面讨论而且诞生的。1994年6月30日，在经过搜索引擎人员以及被搜索引擎抓取的网站站长共同讨论后，正式发布了一份行业规范，即robots.txt合同。慢慢的，这一合同被几乎所有的搜索引擎采用，包括中国的搜索引擎公司。
User-agent: *
Disallow: / （*为键值，/为目录）
User-agent: BadBot
Disallow: /
User-agent: Baiduspider
allow:/
Disallow: /*.asp$
Disallow: /admin/
Disallow: /abc/*.htm
Disallow: /*?*
Disallow: /.jpg$
Disallow:/user/mimi.html （例如商业机密或隐私内容）
Allow: /mimi/
Allow: /tmp
Allow: .htm$
Allow: .gif$ 查看全部
网站根目录下的robots txt文件是献给搜索引擎“看”的，用户网站通过Robots协议告诉搜索引擎什么页面可以抓取，哪些页面不能抓取。例如网站后台管理系统关于网络爬虫协议文件robotstxt，或者涉及到隐私的内容，或者秘密内容关于网络爬虫协议文件robotstxt，或者仅限小范围传播的内容。虽然此文件没有任何外部的链接，但是通常情况下，搜索引擎还是会定期手动检索网站的根目录是否存在此文件。
如果您想使搜索引擎抓取收录网站上所有内容，请设置网站根目录下的robots.txt文件内容为空，或者删掉网站根目录下的robots.txt文件。
Robots协议（也称为爬虫协议、机器人合同等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol）。
robots.txt并不是某一个公司制订的，真实Robots协议的起源，是在互联网从业人员的公开邮件组上面讨论而且诞生的。1994年6月30日，在经过搜索引擎人员以及被搜索引擎抓取的网站站长共同讨论后，正式发布了一份行业规范，即robots.txt合同。慢慢的，这一合同被几乎所有的搜索引擎采用，包括中国的搜索引擎公司。
User-agent: *
Disallow: / （*为键值，/为目录）
User-agent: BadBot
Disallow: /
User-agent: Baiduspider
allow:/
Disallow: /*.asp$
Disallow: /admin/
Disallow: /abc/*.htm
Disallow: /*?*
Disallow: /.jpg$
Disallow:/user/mimi.html （例如商业机密或隐私内容）
Allow: /mimi/
Allow: /tmp
Allow: .htm$
Allow: .gif$
Robots合同探究：如何好好借助爬虫提升网站权重
采集交流 • 优采云 发表了文章 • 0 个评论 • 255 次浏览 • 2020-06-17 08:02
Baiduspider-favo
百度联盟
Baiduspider-cpro
上午搜索
Baiduspider-ads
Disallow列举的是要屏蔽（禁止搜索引擎访问）的网页，以正斜线 / 开头。
如要屏蔽整个网站，直接使用正斜线即可；
User-agent: *
Disallow: /
屏蔽某个特定的目录以及其中的所有内容，则在目录名后添加正斜线；
User-agent: *
Disallow: /admin/
Disallow: /doc/app
使用 "*" and "$" ：Baiduspider支持使用转义 "*" 和 "$" 来模糊匹配url。
"*" 匹配0或多个任意字符
"$" 匹配行结束符。
屏蔽以 plug- 开头的所有子目录：用到 *
User-agent: *
Disallow: /plug-*/
屏蔽 php 结尾的文件：用到 $
User-agent: *
Disallow: /*.php$
屏蔽某个具体的页面：
User-agent: *
Disallow: /admin/index.html
屏蔽所有的动态页面：
User-agent: *
Disallow: /*?*
禁止个别爬虫访问
已屏蔽 Badbot 为例：
User-agent: BadBot
Disallow: /
只容许某个爬虫访问
以百度爬虫为例：
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
或者：
User-agent: Baiduspider
Allow: /
User-agent: *
Disallow: /
允许所有的robots访问
User-agent: *
Disallow:
或者是：
User-agent: *
Allow: /
或者也可以建一个空文件 "/robots.txt"。
屏蔽网站中的图片、视频等文件：
User-agent: *
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.bmp$
Disallow: /*.mp4$
Disallow: /*.rmvb$
只准许访问 .html 结尾的 url
Allow: /*.html$
User-agent: *
Disallow:
我们再来结合两个真实的范例来学习一下。
先看这个事例：
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
这个是淘宝网的Robots协议内容，相信你早已看下来了，淘宝网严禁百度的爬虫访问。
再来看一个事例：
User-agent: *
Disallow: /?*
Disallow: /pop/*.html
User-agent: EtaoSpider
Disallow: /
这个稍稍复杂点，京东有2个目录不希望所有的爬虫来抓。同时怎么利用爬虫技术 提高网站排名，京东完全屏蔽了一淘网的蜘蛛（EtaoSpider是一淘网的蜘蛛）。
前面说过爬虫会通过网页内部的链接发觉新的网页。但是若果没有联接指向的网页怎样办?或者用户输入条件生成的动态网页怎样办?能否使网站管理员通知搜索引擎她们网站上有什么可供抓取的网页?这就是sitemap，最简单的 Sitepmap 形式就是 XML 文件，在其中列举网站中的网址以及关于每位网址的其他数据(上次更新的时间、更改的频度以及相对于网站上其他网址的重要程度等等)，利用这种信息搜索引擎可以愈发智能地抓取网站内容。
新的问题来了，爬虫如何晓得这个网站有没有提供sitemap文件，或者说网站管理员生成了sitemap，(可能是多个文件)，爬虫如何晓得放到那里呢?
由于robots.txt的位置是固定的，于是你们就想到了把sitemap的位置信息置于robots.txt里。这就成为robots.txt里的新成员了。
节选一段google robots.txt：
Sitemap:
Sitemap:
插一句，考虑到一个网站的网页诸多，sitemap人工维护不太靠谱，google提供了工具可以手动生成sitemap。
其实严格来说这部份内容不属于robots.txt。
robots.txt的本意是为了使网站管理员管理可以出现在搜索引擎里的网站内容。但是，即使使用 robots.txt 文件使爬虫未能抓取那些内容，搜索引擎也可以通过其他方法找到这种网页并将它添加到索引中。例如，其他网站仍可能链接到该网站。因此，网页网址及其他公开的信息(如指向相关网站的链接中的定位文字或开放式目录管理系统中的标题)有可能会出现在引擎的搜索结果中。如果想彻底对搜索引擎隐身那咋办呢?答案是：元标记，即meta tag。
比如要完全制止一个网页的内容列在搜索引擎索引中(即使有其他网站链接到此网页)，可使用 noindex 元标记。只要搜索引擎查看该网页，便会听到 noindex 元标记并制止该网页显示在索引中，这里注意noindex元标记提供的是一种逐页控制对网站的访问的形式。
要避免所有搜索引擎将网站中的网页编入索引，在网页的部份添加：
<meta name="robots" content="noindex">
这里的name取值可以设置为某个搜索引擎的User-agent因而指定屏蔽某一个搜索引擎。
除了noindex外，还有其他元标记，比如说nofollow，禁止爬虫自此页面中跟踪链接。详细信息可以参考Google支持的元标记，这里提一句：noindex和nofollow在HTML 4.01规范里有描述，但是其他tag的在不同引擎支持到哪些程度各不相同，还请读者自行查阅各个引擎的说明文档。
除了控制什么可以抓什么不能抓之外，robots.txt还可以拿来控制爬虫抓取的速度。如何做到的呢?通过设置爬虫在两次抓取之间等待的秒数。
Crawl-delay:5
表示本次抓取后下一次抓取前须要等待5秒。
注意：google早已不支持这些方法了，在webmaster tools里提供了一个功能可以更直观的控制抓取速度。
这里插一句正题，几年前以前有一段时间robots.txt还支持复杂的参数:Visit-time，只有在visit-time指定的时间段里，爬虫才可以访问;Request-rate: 用来限制URL的读取频度，用于控制不同的时间段采用不同的抓取速度。后来恐怕支持的人很少，就逐渐的废黜了，目前google和baidu都早已不支持这个规则了，其他小的引擎公司其实从来都没有支持过。
Robots协议不是哪些技术壁垒，而只是一种相互尊重的合同，好比私家花园的旁边挂着“闲人免进”，尊重者绕道而行，不尊重者仍然可以推门而入。目前，Robots协议在实际使用中，还存在一些问题。
robots.txt本身也是须要抓取的，出于效率考虑，一般爬虫不会每次抓取网站网页前都抓一下robots.txt，加上robots.txt更新不频繁，内容须要解析。通常爬虫的做法是先抓取一次，解析后缓存出来，而且是相当长的时间。假设网站管理员更新了robots.txt，修改了个别规则，但是对爬虫来说并不会立即生效，只有当爬虫上次抓取robots.txt以后才会看见最新的内容。尴尬的是，爬虫上次抓取robots.txt的时间并不是由网站管理员控制的。当然，有些搜索引擎提供了web 工具可以使网站管理员通知搜索引擎那种url发生了变化，建议重新抓取。注意，此处是建议，即使你通知了搜索引擎，搜索引擎何时抓取一直是不确定的，只是比完全不通知要好点。至于好多少，那就看搜索引擎的良心和技术能力了。
不知是无意还是有意，反正有些爬虫不太遵循或则完全忽视robots.txt，不排除开发人员能力的问题，比如说根本不知道robots.txt。另外，本身robots.txt不是一种强制举措怎么利用爬虫技术 提高网站排名，如果网站有数据须要保密，必需采取技术举措，比如说：用户验证，加密，ip拦截，访问频度控制等。
在互联网世界中，每天都有不计其数的爬虫在日夜不息地爬取数据，其中恶意爬虫的数目甚至低于非恶意爬虫。遵守Robots协议的爬虫才是好爬虫，但是并不是每位爬虫就会主动违背Robots协议。
恶意爬虫可以带来好多潜在恐吓，比如电商网站的商品信息被爬取可能会被竞争对手借助，过多的爬虫都会占用带宽资源、甚至造成网站宕机。
反恶意爬虫是一件漫长而繁重的任务，如果借助自身实力无法解决，可以利用岂安科技的业务风险剖析平台 WARDEN 来反恶意爬虫，根据自己的需求来订制功能。 查看全部
百度联盟
Baiduspider-cpro
上午搜索
Baiduspider-ads
Disallow列举的是要屏蔽（禁止搜索引擎访问）的网页，以正斜线 / 开头。
如要屏蔽整个网站，直接使用正斜线即可；
User-agent: *
Disallow: /
屏蔽某个特定的目录以及其中的所有内容，则在目录名后添加正斜线；
User-agent: *
Disallow: /admin/
Disallow: /doc/app
使用 "*" and "$" ：Baiduspider支持使用转义 "*" 和 "$" 来模糊匹配url。
"*" 匹配0或多个任意字符
"$" 匹配行结束符。
屏蔽以 plug- 开头的所有子目录：用到 *
User-agent: *
Disallow: /plug-*/
屏蔽 php 结尾的文件：用到 $
User-agent: *
Disallow: /*.php$
屏蔽某个具体的页面：
User-agent: *
Disallow: /admin/index.html
屏蔽所有的动态页面：
User-agent: *
Disallow: /*?*
禁止个别爬虫访问
已屏蔽 Badbot 为例：
User-agent: BadBot
Disallow: /
只容许某个爬虫访问
以百度爬虫为例：
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
或者：
User-agent: Baiduspider
Allow: /
User-agent: *
Disallow: /
允许所有的robots访问
User-agent: *
Disallow:
或者是：
User-agent: *
Allow: /
或者也可以建一个空文件 "/robots.txt"。
屏蔽网站中的图片、视频等文件：
User-agent: *
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.bmp$
Disallow: /*.mp4$
Disallow: /*.rmvb$
只准许访问 .html 结尾的 url
Allow: /*.html$
User-agent: *
Disallow:
我们再来结合两个真实的范例来学习一下。
先看这个事例：
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
这个是淘宝网的Robots协议内容，相信你早已看下来了，淘宝网严禁百度的爬虫访问。
再来看一个事例：
User-agent: *
Disallow: /?*
Disallow: /pop/*.html
User-agent: EtaoSpider
Disallow: /
这个稍稍复杂点，京东有2个目录不希望所有的爬虫来抓。同时怎么利用爬虫技术 提高网站排名，京东完全屏蔽了一淘网的蜘蛛（EtaoSpider是一淘网的蜘蛛）。
前面说过爬虫会通过网页内部的链接发觉新的网页。但是若果没有联接指向的网页怎样办?或者用户输入条件生成的动态网页怎样办?能否使网站管理员通知搜索引擎她们网站上有什么可供抓取的网页?这就是sitemap，最简单的 Sitepmap 形式就是 XML 文件，在其中列举网站中的网址以及关于每位网址的其他数据(上次更新的时间、更改的频度以及相对于网站上其他网址的重要程度等等)，利用这种信息搜索引擎可以愈发智能地抓取网站内容。
新的问题来了，爬虫如何晓得这个网站有没有提供sitemap文件，或者说网站管理员生成了sitemap，(可能是多个文件)，爬虫如何晓得放到那里呢?
由于robots.txt的位置是固定的，于是你们就想到了把sitemap的位置信息置于robots.txt里。这就成为robots.txt里的新成员了。
节选一段google robots.txt：
Sitemap:
Sitemap:
插一句，考虑到一个网站的网页诸多，sitemap人工维护不太靠谱，google提供了工具可以手动生成sitemap。
其实严格来说这部份内容不属于robots.txt。
robots.txt的本意是为了使网站管理员管理可以出现在搜索引擎里的网站内容。但是，即使使用 robots.txt 文件使爬虫未能抓取那些内容，搜索引擎也可以通过其他方法找到这种网页并将它添加到索引中。例如，其他网站仍可能链接到该网站。因此，网页网址及其他公开的信息(如指向相关网站的链接中的定位文字或开放式目录管理系统中的标题)有可能会出现在引擎的搜索结果中。如果想彻底对搜索引擎隐身那咋办呢?答案是：元标记，即meta tag。
比如要完全制止一个网页的内容列在搜索引擎索引中(即使有其他网站链接到此网页)，可使用 noindex 元标记。只要搜索引擎查看该网页，便会听到 noindex 元标记并制止该网页显示在索引中，这里注意noindex元标记提供的是一种逐页控制对网站的访问的形式。
要避免所有搜索引擎将网站中的网页编入索引，在网页的部份添加：
<meta name="robots" content="noindex">
这里的name取值可以设置为某个搜索引擎的User-agent因而指定屏蔽某一个搜索引擎。
除了noindex外，还有其他元标记，比如说nofollow，禁止爬虫自此页面中跟踪链接。详细信息可以参考Google支持的元标记，这里提一句：noindex和nofollow在HTML 4.01规范里有描述，但是其他tag的在不同引擎支持到哪些程度各不相同，还请读者自行查阅各个引擎的说明文档。
除了控制什么可以抓什么不能抓之外，robots.txt还可以拿来控制爬虫抓取的速度。如何做到的呢?通过设置爬虫在两次抓取之间等待的秒数。
Crawl-delay:5
表示本次抓取后下一次抓取前须要等待5秒。
注意：google早已不支持这些方法了，在webmaster tools里提供了一个功能可以更直观的控制抓取速度。
这里插一句正题，几年前以前有一段时间robots.txt还支持复杂的参数:Visit-time，只有在visit-time指定的时间段里，爬虫才可以访问;Request-rate: 用来限制URL的读取频度，用于控制不同的时间段采用不同的抓取速度。后来恐怕支持的人很少，就逐渐的废黜了，目前google和baidu都早已不支持这个规则了，其他小的引擎公司其实从来都没有支持过。
Robots协议不是哪些技术壁垒，而只是一种相互尊重的合同，好比私家花园的旁边挂着“闲人免进”，尊重者绕道而行，不尊重者仍然可以推门而入。目前，Robots协议在实际使用中，还存在一些问题。
robots.txt本身也是须要抓取的，出于效率考虑，一般爬虫不会每次抓取网站网页前都抓一下robots.txt，加上robots.txt更新不频繁，内容须要解析。通常爬虫的做法是先抓取一次，解析后缓存出来，而且是相当长的时间。假设网站管理员更新了robots.txt，修改了个别规则，但是对爬虫来说并不会立即生效，只有当爬虫上次抓取robots.txt以后才会看见最新的内容。尴尬的是，爬虫上次抓取robots.txt的时间并不是由网站管理员控制的。当然，有些搜索引擎提供了web 工具可以使网站管理员通知搜索引擎那种url发生了变化，建议重新抓取。注意，此处是建议，即使你通知了搜索引擎，搜索引擎何时抓取一直是不确定的，只是比完全不通知要好点。至于好多少，那就看搜索引擎的良心和技术能力了。
不知是无意还是有意，反正有些爬虫不太遵循或则完全忽视robots.txt，不排除开发人员能力的问题，比如说根本不知道robots.txt。另外，本身robots.txt不是一种强制举措怎么利用爬虫技术 提高网站排名，如果网站有数据须要保密，必需采取技术举措，比如说：用户验证，加密，ip拦截，访问频度控制等。
在互联网世界中，每天都有不计其数的爬虫在日夜不息地爬取数据，其中恶意爬虫的数目甚至低于非恶意爬虫。遵守Robots协议的爬虫才是好爬虫，但是并不是每位爬虫就会主动违背Robots协议。
恶意爬虫可以带来好多潜在恐吓，比如电商网站的商品信息被爬取可能会被竞争对手借助，过多的爬虫都会占用带宽资源、甚至造成网站宕机。
反恶意爬虫是一件漫长而繁重的任务，如果借助自身实力无法解决，可以利用岂安科技的业务风险剖析平台 WARDEN 来反恶意爬虫，根据自己的需求来订制功能。 查看全部
Baiduspider-favo
百度联盟
Baiduspider-cpro
上午搜索
Baiduspider-ads
Disallow列举的是要屏蔽（禁止搜索引擎访问）的网页，以正斜线 / 开头。
如要屏蔽整个网站，直接使用正斜线即可；
User-agent: *
Disallow: /
屏蔽某个特定的目录以及其中的所有内容，则在目录名后添加正斜线；
User-agent: *
Disallow: /admin/
Disallow: /doc/app
使用 "*" and "$" ：Baiduspider支持使用转义 "*" 和 "$" 来模糊匹配url。
"*" 匹配0或多个任意字符
"$" 匹配行结束符。
屏蔽以 plug- 开头的所有子目录：用到 *
User-agent: *
Disallow: /plug-*/
屏蔽 php 结尾的文件：用到 $
User-agent: *
Disallow: /*.php$
屏蔽某个具体的页面：
User-agent: *
Disallow: /admin/index.html
屏蔽所有的动态页面：
User-agent: *
Disallow: /*?*
禁止个别爬虫访问
已屏蔽 Badbot 为例：
User-agent: BadBot
Disallow: /
只容许某个爬虫访问
以百度爬虫为例：
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
或者：
User-agent: Baiduspider
Allow: /
User-agent: *
Disallow: /
允许所有的robots访问
User-agent: *
Disallow:
或者是：
User-agent: *
Allow: /
或者也可以建一个空文件 "/robots.txt"。
屏蔽网站中的图片、视频等文件：
User-agent: *
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.bmp$
Disallow: /*.mp4$
Disallow: /*.rmvb$
只准许访问 .html 结尾的 url
Allow: /*.html$
User-agent: *
Disallow:
我们再来结合两个真实的范例来学习一下。
先看这个事例：
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
这个是淘宝网的Robots协议内容，相信你早已看下来了，淘宝网严禁百度的爬虫访问。
再来看一个事例：
User-agent: *
Disallow: /?*
Disallow: /pop/*.html
User-agent: EtaoSpider
Disallow: /
这个稍稍复杂点，京东有2个目录不希望所有的爬虫来抓。同时怎么利用爬虫技术 提高网站排名，京东完全屏蔽了一淘网的蜘蛛（EtaoSpider是一淘网的蜘蛛）。
前面说过爬虫会通过网页内部的链接发觉新的网页。但是若果没有联接指向的网页怎样办?或者用户输入条件生成的动态网页怎样办?能否使网站管理员通知搜索引擎她们网站上有什么可供抓取的网页?这就是sitemap，最简单的 Sitepmap 形式就是 XML 文件，在其中列举网站中的网址以及关于每位网址的其他数据(上次更新的时间、更改的频度以及相对于网站上其他网址的重要程度等等)，利用这种信息搜索引擎可以愈发智能地抓取网站内容。
新的问题来了，爬虫如何晓得这个网站有没有提供sitemap文件，或者说网站管理员生成了sitemap，(可能是多个文件)，爬虫如何晓得放到那里呢?
由于robots.txt的位置是固定的，于是你们就想到了把sitemap的位置信息置于robots.txt里。这就成为robots.txt里的新成员了。
节选一段google robots.txt：
Sitemap:
Sitemap:
插一句，考虑到一个网站的网页诸多，sitemap人工维护不太靠谱，google提供了工具可以手动生成sitemap。
其实严格来说这部份内容不属于robots.txt。
robots.txt的本意是为了使网站管理员管理可以出现在搜索引擎里的网站内容。但是，即使使用 robots.txt 文件使爬虫未能抓取那些内容，搜索引擎也可以通过其他方法找到这种网页并将它添加到索引中。例如，其他网站仍可能链接到该网站。因此，网页网址及其他公开的信息(如指向相关网站的链接中的定位文字或开放式目录管理系统中的标题)有可能会出现在引擎的搜索结果中。如果想彻底对搜索引擎隐身那咋办呢?答案是：元标记，即meta tag。
比如要完全制止一个网页的内容列在搜索引擎索引中(即使有其他网站链接到此网页)，可使用 noindex 元标记。只要搜索引擎查看该网页，便会听到 noindex 元标记并制止该网页显示在索引中，这里注意noindex元标记提供的是一种逐页控制对网站的访问的形式。
要避免所有搜索引擎将网站中的网页编入索引，在网页的部份添加：
<meta name="robots" content="noindex">
这里的name取值可以设置为某个搜索引擎的User-agent因而指定屏蔽某一个搜索引擎。
除了noindex外，还有其他元标记，比如说nofollow，禁止爬虫自此页面中跟踪链接。详细信息可以参考Google支持的元标记，这里提一句：noindex和nofollow在HTML 4.01规范里有描述，但是其他tag的在不同引擎支持到哪些程度各不相同，还请读者自行查阅各个引擎的说明文档。
除了控制什么可以抓什么不能抓之外，robots.txt还可以拿来控制爬虫抓取的速度。如何做到的呢?通过设置爬虫在两次抓取之间等待的秒数。
Crawl-delay:5
表示本次抓取后下一次抓取前须要等待5秒。
注意：google早已不支持这些方法了，在webmaster tools里提供了一个功能可以更直观的控制抓取速度。
这里插一句正题，几年前以前有一段时间robots.txt还支持复杂的参数:Visit-time，只有在visit-time指定的时间段里，爬虫才可以访问;Request-rate: 用来限制URL的读取频度，用于控制不同的时间段采用不同的抓取速度。后来恐怕支持的人很少，就逐渐的废黜了，目前google和baidu都早已不支持这个规则了，其他小的引擎公司其实从来都没有支持过。
Robots协议不是哪些技术壁垒，而只是一种相互尊重的合同，好比私家花园的旁边挂着“闲人免进”，尊重者绕道而行，不尊重者仍然可以推门而入。目前，Robots协议在实际使用中，还存在一些问题。
robots.txt本身也是须要抓取的，出于效率考虑，一般爬虫不会每次抓取网站网页前都抓一下robots.txt，加上robots.txt更新不频繁，内容须要解析。通常爬虫的做法是先抓取一次，解析后缓存出来，而且是相当长的时间。假设网站管理员更新了robots.txt，修改了个别规则，但是对爬虫来说并不会立即生效，只有当爬虫上次抓取robots.txt以后才会看见最新的内容。尴尬的是，爬虫上次抓取robots.txt的时间并不是由网站管理员控制的。当然，有些搜索引擎提供了web 工具可以使网站管理员通知搜索引擎那种url发生了变化，建议重新抓取。注意，此处是建议，即使你通知了搜索引擎，搜索引擎何时抓取一直是不确定的，只是比完全不通知要好点。至于好多少，那就看搜索引擎的良心和技术能力了。
不知是无意还是有意，反正有些爬虫不太遵循或则完全忽视robots.txt，不排除开发人员能力的问题，比如说根本不知道robots.txt。另外，本身robots.txt不是一种强制举措怎么利用爬虫技术 提高网站排名，如果网站有数据须要保密，必需采取技术举措，比如说：用户验证，加密，ip拦截，访问频度控制等。
在互联网世界中，每天都有不计其数的爬虫在日夜不息地爬取数据，其中恶意爬虫的数目甚至低于非恶意爬虫。遵守Robots协议的爬虫才是好爬虫，但是并不是每位爬虫就会主动违背Robots协议。
恶意爬虫可以带来好多潜在恐吓，比如电商网站的商品信息被爬取可能会被竞争对手借助，过多的爬虫都会占用带宽资源、甚至造成网站宕机。
反恶意爬虫是一件漫长而繁重的任务，如果借助自身实力无法解决，可以利用岂安科技的业务风险剖析平台 WARDEN 来反恶意爬虫，根据自己的需求来订制功能。
Robots协议是哪些？
采集交流 • 优采云 发表了文章 • 0 个评论 • 222 次浏览 • 2020-05-09 08:01
网络爬虫似乎是一种黑色产业！没有法律规定爬虫是违规的，也没有法律规定爬虫不违规，主要看爬取数据的类型，如：
一般来说，高度敏感的数据根本爬不了；如果是公司要求爬的，那出了事情就是公司的责任。
如果有些东西您不能确认是不是违规，可以向身边律师同事咨询或则百度微软，切莫存侥幸心理！
屏幕后面的您心中一定要有杆称，搞爬虫真的可能会入狱的。信息犯罪似乎是直接入狱的，而且不是按天算的，毕竟玫瑰金手铐可摆在哪里呢！
这杆称就是 Robot.txt 协议。不过，Robot.txt 对学习聚焦型爬虫的我们帮助不大，就当一个常识学一下，也可以按照 Robot.txt 协议列举的网页作为指标关于网络爬虫协议文件robotstxt，Robot.txt 协议容许的网页我们能够爬，不容许的就不爬呗。
Robots 协议是互联网爬虫的一项公认的道德规范，全称是“网络爬虫排除标准（Robots exclusion protocol）”关于网络爬虫协议文件robotstxt，这个合同拿来告诉通用型爬虫，哪些页面是可以抓取的，哪些不可以。
大多数网站都有 Robots 协议，那怎么查看网站的 Robots 协议呢 ？
很简单，在网站的根目录域名后加上/robots.txt就可以了。例如，通过 这个链接可以查看网店的 Robots 协议。
User-agent: * #所有爬虫，如百度、谷歌、必应
Disallow: /subject_search #禁止访问 /subject_search
Disallow: /amazon_search
Disallow: /search
Disallow: /group/search
Disallow: /event/search
Disallow: /celebrities/search
Disallow: /location/drama/search
Disallow: /forum/
Disallow: /new_subject
Disallow: /service/iframe
Disallow: /j/
Disallow: /link2/
Disallow: /recommend/
Disallow: /doubanapp/card
Disallow: /update/topic/
Allow: /ads.txt #允许访问 /ads.txt
Sitemap: https://www.douban.com/sitemap_index.xml
Sitemap: https://www.douban.com/sitemap_updated_index.xml
#sitemap文件里面是新产生的URL，有豆瓣网前一天的影评、书评、帖子等等，可以减少网站的带宽消耗。
User-agent: Wandoujia Spider #如果是豌豆荚爬虫
Disallow: / #禁止访问所有页面(完全屏蔽)
User-agent: Mediapartners-Google #谷歌的广告爬虫，当网页投放了谷歌的广告时，他就会来抓取，对网页进行分析，然后投放最佳的广告...
Disallow: /subject_search #禁止访问 /subject_search
Disallow: /amazon_search
Disallow: /search
Disallow: /group/search
Disallow: /event/search
Disallow: /celebrities/search
Disallow: /location/drama/search
Disallow: /j/
Allow 代表准许访问，Disallow 就是严禁访问，User-agent 可以判定是哪家爬虫，经常形成新数据网站 sitemap 文件会用的比较多。
豆瓣的 robots.txt 文件表示：
常见的搜索引擎爬虫有：
因为网站上的目录貌似就是笔记本里的文件夹，robots.txt 协议处于网站的根目录下，任何人都可以直接输入路径打开并查看上面的内容，就可以比较清楚的了解网站的结构。
robots.txt 相关新闻：
黑客方法也可以通过 robots.txt 协议听到这个网站是不是一个网站模版系统建成的。比如，我在某个网站的域名后加上/robots.txt：
通过剖析里面这份 Robots 协议，发现这个网站是 DedeCMS 模板搭建而成（/plus/ad_js.php 等都是 DedeCMS 网站通用的）。
DedeCMS 模版原型如下：
不妨试一试，打开以下 URL：
:8010/csrf/uploads
如果在根目录域名后加/dede，可步入后台。
它的登陆用户名是 admin，登录密码是 admin123。
黑客们也是通过类似的方法获取网站的管理权限......如找寻当前模版版本的通杀漏洞、字典爆破管理员密码等。 查看全部
一般来说，高度敏感的数据根本爬不了；如果是公司要求爬的，那出了事情就是公司的责任。
如果有些东西您不能确认是不是违规，可以向身边律师同事咨询或则百度微软，切莫存侥幸心理！
屏幕后面的您心中一定要有杆称，搞爬虫真的可能会入狱的。信息犯罪似乎是直接入狱的，而且不是按天算的，毕竟玫瑰金手铐可摆在哪里呢！
这杆称就是 Robot.txt 协议。不过，Robot.txt 对学习聚焦型爬虫的我们帮助不大，就当一个常识学一下，也可以按照 Robot.txt 协议列举的网页作为指标关于网络爬虫协议文件robotstxt，Robot.txt 协议容许的网页我们能够爬，不容许的就不爬呗。
Robots 协议是互联网爬虫的一项公认的道德规范，全称是“网络爬虫排除标准（Robots exclusion protocol）”关于网络爬虫协议文件robotstxt，这个合同拿来告诉通用型爬虫，哪些页面是可以抓取的，哪些不可以。
大多数网站都有 Robots 协议，那怎么查看网站的 Robots 协议呢 ？
很简单，在网站的根目录域名后加上/robots.txt就可以了。例如，通过 这个链接可以查看网店的 Robots 协议。
User-agent: * #所有爬虫，如百度、谷歌、必应
Disallow: /subject_search #禁止访问 /subject_search
Disallow: /amazon_search
Disallow: /search
Disallow: /group/search
Disallow: /event/search
Disallow: /celebrities/search
Disallow: /location/drama/search
Disallow: /forum/
Disallow: /new_subject
Disallow: /service/iframe
Disallow: /j/
Disallow: /link2/
Disallow: /recommend/
Disallow: /doubanapp/card
Disallow: /update/topic/
Allow: /ads.txt #允许访问 /ads.txt
Sitemap: https://www.douban.com/sitemap_index.xml
Sitemap: https://www.douban.com/sitemap_updated_index.xml
#sitemap文件里面是新产生的URL，有豆瓣网前一天的影评、书评、帖子等等，可以减少网站的带宽消耗。
User-agent: Wandoujia Spider #如果是豌豆荚爬虫
Disallow: / #禁止访问所有页面(完全屏蔽)
User-agent: Mediapartners-Google #谷歌的广告爬虫，当网页投放了谷歌的广告时，他就会来抓取，对网页进行分析，然后投放最佳的广告...
Disallow: /subject_search #禁止访问 /subject_search
Disallow: /amazon_search
Disallow: /search
Disallow: /group/search
Disallow: /event/search
Disallow: /celebrities/search
Disallow: /location/drama/search
Disallow: /j/
Allow 代表准许访问，Disallow 就是严禁访问，User-agent 可以判定是哪家爬虫，经常形成新数据网站 sitemap 文件会用的比较多。
豆瓣的 robots.txt 文件表示：
常见的搜索引擎爬虫有：
因为网站上的目录貌似就是笔记本里的文件夹，robots.txt 协议处于网站的根目录下，任何人都可以直接输入路径打开并查看上面的内容，就可以比较清楚的了解网站的结构。
robots.txt 相关新闻：
黑客方法也可以通过 robots.txt 协议听到这个网站是不是一个网站模版系统建成的。比如，我在某个网站的域名后加上/robots.txt：
通过剖析里面这份 Robots 协议，发现这个网站是 DedeCMS 模板搭建而成（/plus/ad_js.php 等都是 DedeCMS 网站通用的）。
DedeCMS 模版原型如下：
不妨试一试，打开以下 URL：
:8010/csrf/uploads
如果在根目录域名后加/dede，可步入后台。
它的登陆用户名是 admin，登录密码是 admin123。
黑客们也是通过类似的方法获取网站的管理权限......如找寻当前模版版本的通杀漏洞、字典爆破管理员密码等。 查看全部
网络爬虫似乎是一种黑色产业！没有法律规定爬虫是违规的，也没有法律规定爬虫不违规，主要看爬取数据的类型，如：
一般来说，高度敏感的数据根本爬不了；如果是公司要求爬的，那出了事情就是公司的责任。
如果有些东西您不能确认是不是违规，可以向身边律师同事咨询或则百度微软，切莫存侥幸心理！
屏幕后面的您心中一定要有杆称，搞爬虫真的可能会入狱的。信息犯罪似乎是直接入狱的，而且不是按天算的，毕竟玫瑰金手铐可摆在哪里呢！
这杆称就是 Robot.txt 协议。不过，Robot.txt 对学习聚焦型爬虫的我们帮助不大，就当一个常识学一下，也可以按照 Robot.txt 协议列举的网页作为指标关于网络爬虫协议文件robotstxt，Robot.txt 协议容许的网页我们能够爬，不容许的就不爬呗。
Robots 协议是互联网爬虫的一项公认的道德规范，全称是“网络爬虫排除标准（Robots exclusion protocol）”关于网络爬虫协议文件robotstxt，这个合同拿来告诉通用型爬虫，哪些页面是可以抓取的，哪些不可以。
大多数网站都有 Robots 协议，那怎么查看网站的 Robots 协议呢 ？
很简单，在网站的根目录域名后加上/robots.txt就可以了。例如，通过 这个链接可以查看网店的 Robots 协议。
User-agent: * #所有爬虫，如百度、谷歌、必应
Disallow: /subject_search #禁止访问 /subject_search
Disallow: /amazon_search
Disallow: /search
Disallow: /group/search
Disallow: /event/search
Disallow: /celebrities/search
Disallow: /location/drama/search
Disallow: /forum/
Disallow: /new_subject
Disallow: /service/iframe
Disallow: /j/
Disallow: /link2/
Disallow: /recommend/
Disallow: /doubanapp/card
Disallow: /update/topic/
Allow: /ads.txt #允许访问 /ads.txt
Sitemap: https://www.douban.com/sitemap_index.xml
Sitemap: https://www.douban.com/sitemap_updated_index.xml
#sitemap文件里面是新产生的URL，有豆瓣网前一天的影评、书评、帖子等等，可以减少网站的带宽消耗。
User-agent: Wandoujia Spider #如果是豌豆荚爬虫
Disallow: / #禁止访问所有页面(完全屏蔽)
User-agent: Mediapartners-Google #谷歌的广告爬虫，当网页投放了谷歌的广告时，他就会来抓取，对网页进行分析，然后投放最佳的广告...
Disallow: /subject_search #禁止访问 /subject_search
Disallow: /amazon_search
Disallow: /search
Disallow: /group/search
Disallow: /event/search
Disallow: /celebrities/search
Disallow: /location/drama/search
Disallow: /j/
Allow 代表准许访问，Disallow 就是严禁访问，User-agent 可以判定是哪家爬虫，经常形成新数据网站 sitemap 文件会用的比较多。
豆瓣的 robots.txt 文件表示：
常见的搜索引擎爬虫有：
因为网站上的目录貌似就是笔记本里的文件夹，robots.txt 协议处于网站的根目录下，任何人都可以直接输入路径打开并查看上面的内容，就可以比较清楚的了解网站的结构。
robots.txt 相关新闻：
黑客方法也可以通过 robots.txt 协议听到这个网站是不是一个网站模版系统建成的。比如，我在某个网站的域名后加上/robots.txt：
通过剖析里面这份 Robots 协议，发现这个网站是 DedeCMS 模板搭建而成（/plus/ad_js.php 等都是 DedeCMS 网站通用的）。
DedeCMS 模版原型如下：
不妨试一试，打开以下 URL：
:8010/csrf/uploads
如果在根目录域名后加/dede，可步入后台。
它的登陆用户名是 admin，登录密码是 admin123。
黑客们也是通过类似的方法获取网站的管理权限......如找寻当前模版版本的通杀漏洞、字典爆破管理员密码等。
网站根目录下的robots.txt写法和robots txt合同规则
采集交流 • 优采云 发表了文章 • 0 个评论 • 329 次浏览 • 2020-05-08 08:03
网站根目录下的robots txt文件是献给搜索引擎“看”的，用户网站通过Robots协议告诉搜索引擎什么页面可以抓取，哪些页面不能抓取。例如网站后台管理系统关于网络爬虫协议文件robotstxt，或者涉及到隐私的内容，或者秘密内容关于网络爬虫协议文件robotstxt，或者仅限小范围传播的内容。虽然此文件没有任何外部的链接，但是通常情况下，搜索引擎还是会定期手动检索网站的根目录是否存在此文件。
如果您想使搜索引擎抓取收录网站上所有内容，请设置网站根目录下的robots.txt文件内容为空，或者删掉网站根目录下的robots.txt文件。
Robots协议（也称为爬虫协议、机器人合同等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol）。
robots.txt并不是某一个公司制订的，真实Robots协议的起源，是在互联网从业人员的公开邮件组上面讨论而且诞生的。1994年6月30日，在经过搜索引擎人员以及被搜索引擎抓取的网站站长共同讨论后，正式发布了一份行业规范，即robots.txt合同。慢慢的，这一合同被几乎所有的搜索引擎采用，包括中国的搜索引擎公司。
User-agent: *
Disallow: / （*为键值，/为目录）
User-agent: BadBot
Disallow: /
User-agent: Baiduspider
allow:/
Disallow: /*.asp$
Disallow: /admin/
Disallow: /abc/*.htm
Disallow: /*?*
Disallow: /.jpg$
Disallow:/user/mimi.html （例如商业机密或隐私内容）
Allow: /mimi/
Allow: /tmp
Allow: .htm$
Allow: .gif$ 查看全部
网站根目录下的robots txt文件是献给搜索引擎“看”的，用户网站通过Robots协议告诉搜索引擎什么页面可以抓取，哪些页面不能抓取。例如网站后台管理系统关于网络爬虫协议文件robotstxt，或者涉及到隐私的内容，或者秘密内容关于网络爬虫协议文件robotstxt，或者仅限小范围传播的内容。虽然此文件没有任何外部的链接，但是通常情况下，搜索引擎还是会定期手动检索网站的根目录是否存在此文件。
如果您想使搜索引擎抓取收录网站上所有内容，请设置网站根目录下的robots.txt文件内容为空，或者删掉网站根目录下的robots.txt文件。
Robots协议（也称为爬虫协议、机器人合同等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol）。
robots.txt并不是某一个公司制订的，真实Robots协议的起源，是在互联网从业人员的公开邮件组上面讨论而且诞生的。1994年6月30日，在经过搜索引擎人员以及被搜索引擎抓取的网站站长共同讨论后，正式发布了一份行业规范，即robots.txt合同。慢慢的，这一合同被几乎所有的搜索引擎采用，包括中国的搜索引擎公司。
User-agent: *
Disallow: / （*为键值，/为目录）
User-agent: BadBot
Disallow: /
User-agent: Baiduspider
allow:/
Disallow: /*.asp$
Disallow: /admin/
Disallow: /abc/*.htm
Disallow: /*?*
Disallow: /.jpg$
Disallow:/user/mimi.html （例如商业机密或隐私内容）
Allow: /mimi/
Allow: /tmp
Allow: .htm$
Allow: .gif$
