网页爬虫抓取百度图片(苹果需要自己对网络进行索引呢？外媒9to5mac提醒)

　　网页爬虫抓取百度图片(苹果需要自己对网络进行索引呢？外媒9to5mac提醒)

　　您一定听说过 Apple 的 iPhone、iPad 或 iMac，但您听说过 Applebot 吗？

　　实际上，Applebot 是 Apple 的网络爬虫，Siri 和 Spotlight Suggestions 等产品都使用了这项技术。

　　什么是网络爬虫？简单的说就是一个用来自动浏览互联网的机器人，主要用来编制网络索引。爬虫可以保存自己访问过的页面，以便搜索引擎生成索引供用户搜索。

　　苹果的网络爬虫最早出现在2015年，当时网站管理员看到了一个IP地址为17的网络爬虫，这个IP地址块是苹果的。

　　随后，Apple 承认它正在使用网络爬虫。

　　知名 iOS 开发者 Benjamin Mayo 表示 Applebot 是由 Go 语言开发的。在 iOS 9 发布之前，Applebot 完全依赖于苹果办公室的四台 Mac Pro，这四台电脑每天可以爬行接近 10 亿。网页。

　　有趣的是，在 Applebot 推出的第一周，它几乎断开了 Apple 内部 DNS 服务器的连接。好在修改了自己的DNS解析和缓存，缓解了压力。

　　问题是，Siri 主要使用 Bing 和 Wolfram Alpha 进行网页搜索，那么为什么 Apple 需要自己为网页编制索引？

　　外媒 9to5mac 认为 Applebot 是一种补充现有第三方搜索引擎的工具，以确保 Siri 和 Spotlight 能够提供最佳搜索结果。

　　特别声明：以上内容（包括图片或视频，如有）由自媒体平台“网易”用户上传发布。本平台仅提供信息存储服务。