谷歌抓取网页视频教程(Google从索引中删除该网页的速度有多快？)

　　谷歌抓取网页视频教程(Google从索引中删除该网页的速度有多快？)

　　在 网站 管理员的视频通话中，网站 管理员提到，如果快速将 noindex nofollow 命令添加到网页中，Google 将页面从索引中删除的速度有多快。

　　（注：我们可能不希望搜索引擎在SEO过程中收录某个页面抓取链接。noindex和nofollow这两个标签可以解决这个问题。noindex：禁止收录这个页面nofollow：它禁止抓取本页链接）

　　管理员表示，他们添加了 noindex nofollow 命令后，该页面仍然出现在 Google 的索引中。谷歌的约翰穆勒回答了这个问题。在谈话中，他提到了一些网页被索引的频率。

　　John Mueller 透露，谷歌蜘蛛以不同的速度抓取 URL。每个人都或多或少地知道这一点。有趣的是，他说有些网址可能每六个月才被谷歌抓取一次。

　　网站 经理说：“我们在我们的一个页面上设置了noindex nofollow，但几个月后我们仍然可以在谷歌索引中看到它。”

　　约翰·穆勒回答：

　　“我认为这里的问题是，Google 并不总是以相同的频率抓取所有网址。Google 每天都会抓取一些网址，但有些网址可能每周抓取一次，而有些网址每隔几个月才抓取一次。有些可能甚至每六个月左右被抓取一次。这样做的原因是为了避免服务器过载。

　　另外，如果对网站进行大的改动，大部分改动可能很快就会被发现，但一般都会有一些剩余的改动没有及时发现。

　　因此，尤其是在执行网站查询等操作时，很可能会看到那些每六个月才爬一次的网址。几个月后，他们还是一样。

　　这是 Google 重新处理和抓取网页的正常时间。因此，这并不一定表明某些东西在技术上存在缺陷。如果您仍然认为这些网址根本不应该编入索引，也许您可​​以将收录最后修改的站点地图的文件提交给 Google，以便 Google 可以通过其他方式加快检索速度。”

　　触发蜘蛛进行新的爬行和通过站点地图爬行

　　John Mueller 建议更新站点地图，以便 Googlebot 找到最近的修改日期，并提醒您删除旧页面并触发新的抓取。

　　谷歌网址检查工具

　　使用 Google 的 URL 检查工具，John Mueller 没有提到这一点。通过谷歌站长工具重新提交索引，提交过程可能需要一到两周的时间。URL 检查工具适用于需要重新抓取的单个 URL。如果有大量网页，Google 建议改为提交站点地图。