iphone抓取网页视频软件(苹果在网站上放出了传言已久的“AppleBot”的一些技术)

　　iphone抓取网页视频软件(苹果在网站上放出了传言已久的“AppleBot”的一些技术)

　　苹果刚刚在网站上发布了传闻已久的“AppleBot”的部分技术，证实了传闻已久的苹果有自己的网络信息抓取服务确实属实。

　　网络爬虫，即网络信息爬取服务，是指按照一定的规则自动爬取万维网信息的程序或脚本，是搜索引擎的关键组成部分。一直以来，人们一直认为苹果使用 Bing 或 Google 等第三方搜索引擎来提供 Siri 和 Spotlight 等搜索服务。然而，去年11月，开发者Jan Moesen发现大量网页信息被17.0.0.0/8地址段的爬虫抓取。根据对地址段归属的查询，发现这是一个属于苹果的地址段，再加上苹果终止与谷歌就Safari默认搜索引擎的交易，引发外界猜测苹果有自己的网络爬虫。

　　现在苹果公布了名为“AppleBot”的网络爬虫的有限细节，相当于印证了之前的传言：

　　Applebot 是 Apple 的网络爬虫，用于包括 Siri 和 Spotlight Suggestions 在内的产品。它遵循通常的 robots.txt 规则并继承相关的元标记。使用的地址段是 17.0.0.0。

　　可以看出，Apple 的爬虫运行方式与 Google 的类似。因为它提到了爬虫指令，如果没有提到Applebot，它会遵循Googlebot指令规则。

　　目前尚不清楚 Apple 的网络爬虫已启用多长时间。同时，由于网络爬虫只是搜索引擎的一部分，并不一定意味着苹果在做自己的搜索引擎。