c 抓取网页数据(WEBCRAWLER网络爬虫实训项目1WEBCRAWLER网络爬虫实训项目)

　　c 抓取网页数据(WEBCRAWLER网络爬虫实训项目1WEBCRAWLER网络爬虫实训项目)

　　WEBCRAWLER 网络爬虫培训项目1 WEBCRAWLER 网络爬虫培训项目文档版本：1.0.0.1 作者：Dane IT Training Group C++教学研发部作者：Min Wei 定稿日期：11月，星期五20, 2015 WEBCRAWLER 网络爬虫培训项目21. 项目概述 互联网产品种类繁多，以产品为导向，以营销为导向，以技术为导向，但精通技术的互联网产品占比较高。较小。搜索引擎是目前互联网产品中技术含量最高的产品，如果不是唯一的，至少也是其中之一。经过十多年的发展，搜索引擎已经成为互联网的重要门户之一。Twitter联合创始人埃文威廉姆斯提出“

　　这样的海WEBCRAWLER网络爬虫训练项目3的数据如何获取、存储和计算？如何快速响应用户查询？如何使搜索结果尽可能满足用户对信息的需求？这些都是搜索引擎设计者必须面对的技术挑战。下图展示了一个通用搜索引擎的基本结构。商业级搜索引擎通常由许多独立的模块组成。每个模块只负责搜索引擎的部分功能，相互配合形成一个完整的搜索引擎：搜索引擎的信息源来自互联网网页，整个“网络爬虫”的信息在本地获取“Internet”，由于互联网页面的大部分内容完全相同或几乎重复，“网页重复数据删除”模块会检测到并删除重复的内容。之后，搜索引擎会解析网页，提取网页的主要内容，以及指向该网页中收录的其他页面的所谓超链接。为了加快用户查询的响应速度，通过高效的“倒排索引”查询数据结构保存网页内容，同时保存网页之间的链接关系。之所以保存链接关系，是因为这个关系在网页的相关性排名阶段是可用的。页面的相对重要性可以通过“链接分析”来判断，这对于为用户提供准确的搜索结果非常有帮助。由于网页数量众多，搜索引擎不仅需要保存网页的原创信息，还需要保存一些中间处理结果。使用单台计算机或少量计算机显然是不现实的。

　　谷歌等商业搜索引擎提供商为此开发了一套完整的云存储和云计算平台，利用数以万计的普通PCWEBCRAWLER网络爬虫训练项目4，构建了海量信息作为搜索的可靠存储和计算架构引擎及其相关应用的基础支持。优秀的云存储和云计算平台已成为大型商业搜索引擎的核心竞争力。以上就是搜索引擎获取和存储海量网页相关信息的方式。这些功能不需要实时计算，可以看作是搜索引擎的后端计算系统。搜索引擎的首要目标当然是为用户提供准确、全面的搜索结果。因此，实时响应用户查询并提供准确结果构成了搜索引擎的前端计算系统。搜索引擎收到用户的查询请求后，首先需要对查询词进行分析，通过结合用户的信息，正确推导出用户的真实搜索意图。之后，首先查看“缓存系统”维护的缓存。搜索引擎的缓存中存储着不同的搜索意图及其对应的搜索结果。如果在缓存中找到满足用户需求的信息，则直接将搜索结果返回给用户。这不仅节省了重复计算的资源消耗，同时也加快了整个搜索过程的响应速度。如果缓存中没有找到满足用户需求的信息，则需要使用“页面排序”，根据用户的搜索意图实时计算哪些网页满足用户需求，排序输出作为搜索结果。

　　网页排名最重要的两个参考因素是“内容相似度”，即哪些网页与用户的搜索意图密切相关；另一个是网页重要性，即哪些网页质量好或者比较重要。这通常可以从“链接分析”的结果中获得。结合以上两个考虑，前端系统将网页进行排序，作为搜索的最终结果。除了上述功能模块外，搜索引擎的“反作弊”模块近年来也越来越受到关注。搜索引擎作为网民上网的门户，对网络流量的引导和分流至关重要，甚至可以说起到了举足轻重的作用。因此，各种“作弊” 方法逐渐流行起来。使用各种方法将网页的搜索排名提升到与网页质量不相称的位置，这将严重影响用户的搜索体验。因此，如何自动发现作弊网页并给予相应的惩罚，成为搜索引擎非常重要的功能之一。1.2. 网络爬虫通用搜索引擎的处理对象是互联网网页。到目前为止，网页有数百万个，所以搜索引擎面临的第一个问题是如何设计一个高效的下载系统。将如此大量的网页数据发送到本地，在本地形成互联 使用各种方法将网页的搜索排名提升到与网页质量不相称的位置，这将严重影响用户的搜索体验。因此，如何自动发现作弊网页并给予相应的惩罚，成为搜索引擎非常重要的功能之一。1.2. 网络爬虫通用搜索引擎的处理对象是互联网网页。目前网页有数百万个，搜索引擎面临的第一个问题就是如何设计一个高效的下载系统。将如此大量的网页数据发送到本地，在本地形成互联 使用各种方法将网页的搜索排名提升到与网页质量不相称的位置，这将严重影响用户的搜索体验。因此，如何自动发现作弊网页并给予相应的惩罚，成为搜索引擎非常重要的功能之一。1.2. 网络爬虫通用搜索引擎的处理对象是互联网网页。到目前为止，网页有数百万个，所以搜索引擎面临的第一个问题是如何设计一个高效的下载系统。将如此大量的网页数据发送到本地，在本地形成互联 如何自动发现作弊网页并给予相应的惩罚已经成为搜索引擎非常重要的功能之一。1.2. 网络爬虫通用搜索引擎的处理对象是互联网网页。到目前为止，网页有数百万个，所以搜索引擎面临的第一个问题是如何设计一个高效的下载系统。将如此大量的网页数据发送到本地，在本地形成互联 如何自动发现作弊网页并给予相应的惩罚已经成为搜索引擎非常重要的功能之一。1.2. 网络爬虫通用搜索引擎的处理对象是互联网网页。目前网页有数百万个，搜索引擎面临的第一个问题就是如何设计一个高效的下载系统。将如此大量的网页数据发送到本地，在本地形成互联