谷歌抓取网页视频教程(Google发布重大更新：抓取错误功能检测和报告多种新的错误类型)

　　谷歌抓取网页视频教程(Google发布重大更新：抓取错误功能检测和报告多种新的错误类型)

　　抓取错误是 Google 网站网站管理员工具中最受欢迎的工具之一。昨天，谷歌发布了抓取错误工具的重大更新，使其更加方便和有用。

　　现在，错误获取功能可以检测和报告各种新的错误类型。为了让数据更直观，网站站长工具将错误分为两类：网站错误（站点错误）和链接地址错误（URL错误）。

　　内容

　　站点错误

　　网站 错误是指影响整个网站的错误，而不是具体的URL链接。包括DNS解析失败、服务器连接问题、获取robots.txt文件问题等。之前谷歌站长工具只报相关链接地址错误。但是这样做没有多大意义，因为它们不是由特定链接引起的。事实上，这个错误甚至会阻止 Googlebot 请求 URL 链接地址。于是谷歌站长工具开始追踪此类错误的频率，并在适当的时候向网站管理员发送提醒。

　　查看网站误差频率和频率变化曲线

　　而且，如果你的网站没有犯过任何错误，或者最近一段时间没有这方面的问题——实际上大部分网站都是这种情况——他们只会show simple 一切正常提示不会显示大量信息影响管理员获取其他信息。总之，如果你看到的提示图标都是绿色的，就说明一切正常。

　　如果最近一段时间网站没有问题，会显示这样的友好提示信息

　　网址链接错误

　　URL 链接错误是指向特定页面的那些错误。当谷歌机器人尝试抓取链接时，它能够解析DNS，连接到服务器，抓取robots.txt文件，但在请求URL链接地址时遇到错误。根据错误原因，URL链接地址错误有几种类型。如果 网站 提供 Google 新闻内容或移动数据内容（CHTML/XHTML），这些错误将根据不同的类别显示。

　　链接错误提示

　　简洁的错误信息

　　以前，Google 网站Webmaster Tools 为每个类别显示多达 100,000 个错误。检查这么多错误信息是非常困难的。您甚至无法知道哪些错误是重要的（例如主页无法打开），哪些错误是次要的（例如链接到您的网页时的其他网站 拼写错误）。基本上不可能对 100,000 条错误记录进行排序、搜索或标记您的处理进度。

　　在新版本的抓取错误中，谷歌开发者尽量只提供最重要的错误信息。对于每个错误分类，一般只提供 1000 条被认为是最重要的错误信息。网站管理员还可以对这些错误进行排序过滤，查看错误详情并进行处理，然后将已经处理过的错误进行标记并通知谷歌（这样就不会再次显示，除非错误再次出现） .

　　在任何列上实时排序或过滤错误消息

　　对于某种错误类型，某些网站可能有1000多个错误，超过这个数目的错误仍然可以反映在错误总数中。还有一些图标可以显示过去 90 天的历史错误数据。有人可能会担心 1000 个错误的详细信息加上粗略的错误总数可能不够。谷歌正在考虑提供一个 API 接口来解决这个问题。

　　现在，网站站长工具会移除robots.txt屏蔽的链接列表，因为虽然有时这些链接有助于诊断robots.txt错误，但这些链接是管理员专门屏蔽的（自屏蔽当然可以）应该很清楚）。为了关注真正的错误，被robot.txt屏蔽的链接将很快移至“网站站点配置”部分的“爬虫访问”页面。

　　查看错误详情

　　单击主列表中的单个错误链接可激活一个面板，该面板显示详细的错误信息，包括上次提取时间、发现错误的最早时间以及简单说明。

　　可以在主列表中看到的错误详细信息

　　在详细信息面板中，您也可以直接点击相关链接查看访问过程中会出现哪些错误。如果没有问题，可以将此错误标记为“已修复”（以后会提供更多选项），也可以查看此类错误的帮助信息，包括网站图的链接文件列表、链接去链接地址的其他页面列表等，也可以用Googlebot模拟爬取链接，看看有没有其他问题或者是否已经修复。

　　查看链接到此页面的其他页面地址列表

　　采取行动

　　错误爬取功能中值得期待的一件事是，网站 管理员实际上可以专注于解决最重要的问题。谷歌网站管理员工具对错误进行分类，而那些高优先级项目确实是您可以解决的问题。要么你需要修复网站上的链接，要么你需要处理服务器上的软件问题，要么你需要更新网站映射文件来清理那些不需要的链接，或者添加一个301重定向将用户重定向到正确的页面等。谷歌站长工具在确定优先级时会考虑多种因素，包括你是否在网站映射中收录了URL，有多少页面链接到该地址（还要考虑这些页面是否在你自己的网站@ > 上),

　　一旦您认为问题已修复（您可以使用 Googlebot 模拟抓取页面），您可以将其标记为“已修复”（当然，您必须是管理员）。此操作会通知 Google Webmaster Tools，然后该错误将从错误列表（重要的 1000 项）的顶部删除，并且不再显示（除非 Googlebot 在抓取页面时再次遇到相同的错误）。

　　将错误标记为已修复

　　英文原文由 Webmaster Tools 团队的 Kurt Dresner 撰写。由于时间关系，本文不提供翻译以保证质量。请保留本段内容，以表达对原作者的尊重。

　　同时，谷歌还更新了网站Webmaster Tools 帮助文档的相关部分，并提供链接供参考。©

　　本文发表于水景专页。永久链接：。转载请保留此信息及相关链接。