谷歌抓取网页视频教程(眼下最热、最重要的一个话题Google幽灵现象(组图))

　　谷歌抓取网页视频教程(眼下最热、最重要的一个话题Google幽灵现象(组图))

　　目前最热门、最重要的话题是谷歌幽灵现象。一般情况下，提交一个网站到网上。在每月更新之前，你会在索引中找到这个网站。有时候，这个网站可以获得很高的排名，但可怕的是，几天或一周后，这个网站就会突然消失。这种鬼现象困扰着互联网新手，但也给有经验的互联网高手带来了难题。其实这个现象很容易理解。

　　Google 有两种类型的网络爬虫，主爬虫和新爬虫。主爬虫主要负责发现新的网页。创建新索引后，主爬虫会立即找到一个网页。如果一个网页需要一个月的时间才能被索引，这个网页就会失效。

　　新指数的建立还需要考虑其他非查询性的决定因素。这些决定因素与页面的排名有关。为了充分利用这些页面，而不是浪费时间等待下一次索引算法更新，谷歌必须采取一些简单的措施来猜测排名并猜测访问者难以使用的新内容。

　　尽管有谷歌的猜测，但以下内容是真实可信的：

　　1） 幽灵登陆页的排名不能和索引页的排名一样。

　　2） 在创建每月新数据库之前，必须从数据库中删除ghost登陆页面。然而，这只是暂时的移除。

　　如果您的索引中有这样的登录页面，您的主要目标应该是让该页面在 Google 的新页面上排名。如果你想这样做，你需要定期，定期，最好每天，每隔一定时间更新网站的内容。

　　为什么要在 Google 的新页面上排名？因为网站在新页面排名更容易被抓取，索引更容易更新。但是新页面的排名并不是真正的排名，新页面的排名非常不稳定。新页面位置转换为实际位置需要一些时间。

　　案例研究：同样的遭遇

　　（1）五天前，我上传了一个新的小网站到网上。这次我没有像往常一样把这个网站链接到我的另一个网站。而是，添加l.html把URL添加到Google，我静静的等着这个网站被发现。三天后，我用网站的主关键词搜索，这个网站可以排在搜索结果的前十名，记录显示有130名访问者访问了网站。然而，一天后，这个网站消失了。这一次，他不仅掉出前十，也掉出整个谷歌目录。网站本身没有问题，没有作弊，没有隐藏链接，没有内容复制，没有关键词堆砌，就像这一声网站消失了。

　　我仔细考虑了网站的不足。排名消失的原因可能是网站缺少导入链接，可能是因为这个网站有弹窗。也许，也许，有无数的也许在等着我。

　　（2）经常有人问我们这类问题，为了满足不同提问者的需求，我们写了一篇文章，希望对大家有所帮助。

　　当谷歌搜索蜘蛛抓取一个新网页时，新网页会发生什么？

　　在以下情况下，Google 主目录不会选取新网页：

　　1. 此网页已被 Google 主目录搜索蜘蛛抓取。

　　2. 此网页被谷歌主目录搜索蜘蛛抓取后，必须更新一段时间。

　　只有满足以上两个条件，并且新网页真正被谷歌主目录抓取，新网页的排名才能转化为真正的排名。

　　谷歌有两种类型的抓取

　　1. 主要爬取

　　2. 新抓取

　　一个新的网页首先被一个“新爬行”蜘蛛爬行。但也有特殊情况。在谷歌每月更新刚刚完成后，一个网页通常会被一个“主爬虫”蜘蛛抓取。每月更新通常在每个月的 20 日和 28 日之间，并且可以持续几天。

　　为了区分这两种蜘蛛的区别，我们可以先看一组IP地址。

　　1.“主爬行”蜘蛛 = 216.239.46.*

　　2.“新爬行”蜘蛛 = 64.68.82.*

　　为了进一步解释出现在新网页上的谷歌幽灵现象，我们假设该网页首先被“新爬”蜘蛛抓取。在谷歌两个月的更新之间，“新抓取”蜘蛛抓取了新的网页。在主爬取过程中，可以通过链接爬取新的网页。在新的爬行过程中，情况是一样的。

　　虽然这个网页没有经过这次更新，也不是收录在谷歌主目录中，但是搜索蜘蛛抓取后开始衡量网页的内容和质量，将网页收录放在搜索结果 。这种测量非常不稳定，容易受到外部影响，并且经常发生变化。

　　当每月定期更新时，这些页面会波动。每月定期更新是谷歌波动。但是，需要记住的是，“主爬虫”蜘蛛并没有读取该网页，因此该网页没有被添加到主索引中。因此，当月度更新结束时，该新网页仍被视为新网页。但很快，“主爬虫”蜘蛛就会读取这个新网页。下个月更新后，页面可以收录进入主索引。这将需要一段时间。在此之前，Google 没有显示任何传入链接，因此该页面的排名是可变且不稳定的。

　　让我们总结一下：

　　如果一个新网页先被“新爬”蜘蛛抓取，然后被“主爬”蜘蛛抓取，则该网页需要每月更新两次。换句话说，这个新网页需要两个月的时间才能被主收录索引。被主收录索引后，可以获得稳定的排名。

　　在此期间，Google 搜索结果页上可能会出现或消失新网页。这种不稳定的情况是完全正常的。

　　还有另一种情况。如果一个新的网页首先被“主爬”蜘蛛抓取（这通常发生在1月下半月），那么这个网页只需要一个月就可以进入“主索引”。

　　网站 如果设计师和所有者不了解谷歌抓取新页面的过程，他们的工作将难以开展。页面排名可能一路飙升到前十，令人欣喜若狂，也可能急剧下降，只剩下200个，令人沮丧。掌握了谷歌新网页抓取过程的规律，网络英雄将不再迷茫，被盯上也不再是梦。