百度网页关键字抓取(前段时间从上篇“百度对Robots.txt抓取时间分析报告”)

　　百度网页关键字抓取(前段时间从上篇“百度对Robots.txt抓取时间分析报告”)

　　前段时间讲了小翔个人对Robots.txt的理解，里面说了两个道理，1、百度对Robots.txt的爬取频率大概是一个周期2、百度对Robots.txt的爬取是按IP，而不是按域名。说实话，小香不是一个死板或者好色的人。我在上一篇文章《百度对Robots.txt的爬取时间分析报告》中说过，那么当第一次可以说是偶然，第二次是运气，那么第三次，如果也是这样的话下一个第四次更新！我们不得不说这个实验奏效了，现在它是真的了吗？

　　百度快照：2010-10-6（10月6日同）

　　又是同一个四站，同时抓拍，呵呵！巧合的是，也许一个 网站 会每隔一天拍摄一次 snapshot()，但其他三个 网站 会同时更新快照。小翔从之前的文章《百度对Robots.txt的抓取时间分析报告》分析，百度对Robots.txt的抓取可能是IP抓取的，但是内容的抓取必须是域名，不可能否认！但是百度在什么情况下会抓取Robots.txt，我们也得出结论：百度对Robots.txt的抓取频率大约是一个周期。我们现在知道了百度是如何抓取Robots.txt的，它的抓取周期是多久，那么百度对Robots.txt的有效周期是多久呢？百度站长中，有朋友一直在问“百度多久了” 所以一直都是用比较通俗易懂的方式写的文章。要了解百度的Robots.txt的有效期，我们首先要知道“百度是否捕获了你的Robots”，我们将研究Robots抛开其他条件，那么你知道你的网站是否被百度捕获了获取机器人。

　　解封Robots.txt后百度一直没有爬

　　从我用Robots屏蔽网站，到后来在新网站上线（unblocked Robots）已经过去了15天左右。永远不要百度蜘蛛爬行！

　　9月25日，百度蜘蛛终于爬到机器人了

　　经过三个周期的变化，百度爬取了网站Robots文件，这也是百度自网站上线以来第一次爬取！虽然百度已经爬过Robots，那么百度Robots多久能生效，9月26日还是一样，没有百度蜘蛛爬过。

　　9月27日，百度蜘蛛抓取网站的内容

　　百度蜘蛛25号爬取了Robots.txt，百度27号爬取了网站的内容，疯蜘蛛第一次爬的时候真的是疯了！（所以这里是一个小细节，大家一定要注意，新站应该永远都是满满的内容，最好是原创的内容）

　　网站28日开始收录

<p>从收录的角度来看，小翔还是很满意的。我记得9月29日有96篇，而那个时候小翔一共只发表了130篇左右。&gt;96篇，这些文章是从别处抄来的！有 收录 这样的比例很好。我继续分析机器人。从以上三张图，相信大家可以看出网站从上线到24日都没有被百度蜘蛛爬过，而百度从25日开始爬取Robots.txt文件。，而且我们知道，虽然是爬取的，但也需要等待一段时间才能生效。小香运气好，27号被百度爬上去，第二天就发布了！然后我们可以做“百度到机器人文件”。总结：要让Robots.txt文件生效，需要等到网站中的Robots.txt文件被蜘蛛爬取，Robots文件才会生效，而从“爬取”到“生效”的这段时间也需要时间等待，而这个等待期是蜘蛛下次抓取您的 网站 内容的时间。其他方面我就不多说了。小翔写了三个关于Robots的研究分析【百度对Robots.txt爬取时间的分析报告】，每一个文章都是基于一个新的思路去理解，但是同时这三个文章也是有关联的，如果能结合三个文章理解最好，如果不行，可以一一理解，（可能是阅读和解读这三个