网页内容抓取工具(Google建议您使用网址参数工具的目的及处理方法（上）)

　　网页内容抓取工具(Google建议您使用网址参数工具的目的及处理方法（上）)

　　我们建议您使用网址参数工具告知 Google 在 网站 上使用每个参数的目的以及 Google 应如何处理收录这些参数的网址。

　　在控制台中的 网站 配置下，单击 URL 参数。在要修改的参数旁边，单击编辑。 （如果没有列出您要修改的参数，请点击添加参数。请注意该工具区分大小写，因此请务必按原样输入URL中显示的参数。）如果参数不会影响什么用户看到内容，请在此参数是否更改...列表中选择否...，然后单击保存。如果该参数影响内容的显示，请单击是：更改、重新排序或缩小页面内容（是：更改、重新排序或缩小页面内容），然后选择您希望 Google 如何抓取收录此参数的网址。

　　多个参数

　　单个 URL 可能收录多个参数，您可以分别为每个参数指定设置。限制性更强的设置将取代限制性较低的设置。以以下三个参数及其设置为例：

　　Google 将根据这些设置抓取以下网址：,

　　但是以下网址不会被抓取：。这是因为上述设置告诉 Google 只抓取 sort-by 参数值等于生产年份的 URL。由于鞋子从来不按生产年份排序，这个设置太严格了，会导致大量内容爬不出来。

　　如果您的 网站 内容可以通过多个网址访问，您可以指定网址的规范（首选）版本，以便更好地控制网址在搜索结果中的显示方式。为此，您可以使用参数处理工具，也可以将 rel="canonical" 元素添加到首选 URL 的 HTML 源中，以向 Google 提供更多信息。 （要使用 rel="canonical"，您需要确保可以修改页面的源代码。）有关规范化的详细信息。请使用最适合您的选项；如果您想万无一失，您可以同时使用这两个选项。