网页抓取工具( Google不会发布一个公开的IP地址列表供网站所有者添加到许可名单)

　　网页抓取工具(

Google不会发布一个公开的IP地址列表供网站所有者添加到许可名单)

　　验证 Googlebot 和其他 Google 抓取工具

　　您可以验证访问您服务器的网络抓取工具确实是 Google 抓取工具，例如 Googlebot。如果您担心声称自己是 Googlebot 的垃圾邮件发送者或其他麻烦制造者正在访问您的 网站，您会发现此方法非常有用。 Google 不会发布公开的 IP 地址列表供 网站 所有者添加到权限列表中。这是因为这些 IP 地址范围可能会发生变化，从而导致对它们进行硬编码的 网站 所有者出现问题。因此，您必须按如下所述运行 DNS 查找。

　　验证抓取工具是 Googlebot（或其他 Google 抓取工具）。使用命令行工具使用 host 命令对日志中访问服务器的 IP 地址运行反向 DNS 查找。验证域名是否为或。使用host命令对步骤1中检索到的域名进行正向DNS查找，验证该域名是否与日志中访问服务器的原创IP地址一致。

　　示例 1：

> host 66.249.66.1

1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com

crawl-66-249-66-1.googlebot.com has address 66.249.66.1

　　示例 2：

> host 66.249.90.77

77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com

rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

　　使用自动化解决方案

　　Google 不提供可识别其抓取工具的软件库。您可以使用开源库来验证 Googlebot。