搜索引擎如何抓取网页(1.关键词的提取，取一篇网页的源文件（上）)

　　搜索引擎如何抓取网页(1.关键词的提取，取一篇网页的源文件（上）)

　　1.关键词的提取，取一个网页的源文件（比如通过浏览器的“查看源文件”功能），可以看出情况是乱七八糟的。从知识和实践的角度来看，所收录的关键词就是这个特性的最好代表。因此，作为预处理阶段的一项基本任务，就是提取网页源文件内容部分收录的关键词。对于中文来说，需要使用所谓的“切词软件”，根据字典Σ从网页文本中切出Σ中收录的词。之后，一个网页主要由一组词表示，p= {t1, t2, ...,tn}。一般来说，我们可能会得到很多词，而同一个词可能会在一个网页中出现多次。

　　2. 消除重复或转载的网页，固有的数字化和网络化为网页的复制、转载、修改和再发布带来了便利。因此，我们在网络上看到了大量的重复信息。这种现象对广大网民来说具有积极意义，因为有更多的信息获取机会。但是对于搜索引擎来说，主要是fu/mian；它不仅在采集网页时消耗机器时间和网络带宽资源，而且如果它出现在查询结果中，也会毫无意义地消耗计算机显示资源。用户抱怨说，“这么多重复，给我一个。” 所以，

　　3、 链接分析，大量的HTML标签不仅给网页的预处理带来了一些麻烦，也带来了一些新的机会。从信息检索的角度来看，如果系统只处理内容的文本，我们可以依靠“词的共享包”，即内容中收录的关键词的集合，加上词频最多统计词在文档集合中出现的（词频或 tf，TF）和文档频率（文档频率或 df，DF）等统计信息。TF、DF等频率信息可以在一定程度上表明单词在文档中的相对重要性或某些内容的相关性，是有意义的。有了 HTML 标记，这种情况可能会得到进一步改善。例如，在同一个文档中，和之间的信息可能比和之间的信息更重要。尤其是HTML文档中收录的指向其他文档的链接信息是近年来特别关注的对象。他们认为他们不仅给出了网页之间的关系，而且在判断网页的内容方面也起着重要的作用。

　　4、 在计算网页的重要性时，搜索引擎实际上追求的是统计意义上的满意度。人们认为谷歌优于百度或百度优于谷歌。在大多数情况下，引用依赖于前者返回的内容来满足用户的需求，但并非在所有情况下都是如此。如何对查询结果进行排序有很多因素需要考虑。如何说一页比另一页更重要？人们参考科学文献重要性的评价方法。核心思想是“引用最多的就是最重要的”。“引用”的概念恰好通过 HTML 超链接在网页之间得到很好的体现。谷歌创造的核心技术PageRank就是这一理念的成功体现。此外，人们也注意到了网页和文档的不同特点，即有些网页主要是大量的外部链接，基本没有明确的主题内容，有些网页则是由大量的其他链接网页。从某种意义上说，这形成了一种双重关系，允许人们在网络上建立另一个重要性指标。这些指标有的可以在网页爬取阶段计算，有的麻将牌必须在查询阶段计算，但都作为查询服务阶段最终结果排名的一部分参数。并且一些网页被大量其他网页链接。从某种意义上说，这形成了一种双重关系，允许人们在网络上建立另一个重要性指标。这些指标有的可以在网页爬取阶段计算，有的麻将牌必须在查询阶段计算，但都作为查询服务阶段最终结果排名的一部分参数。并且一些网页被大量其他网页链接。从某种意义上说，这形成了一种双重关系，允许人们在网络上建立另一个重要性指标。这些指标有的可以在网页爬取阶段计算，有的麻将牌必须在查询阶段计算，但都作为查询服务阶段最终结果排名的一部分参数。