网站改版 内容排序(网页词频位置加权排序算法介绍及解决办法！！(一))

　　网站改版 内容排序(网页词频位置加权排序算法介绍及解决办法！！(一))

　　词频位置加权排序算法：是一种根据关键词出现的位置和频率进行排序的方法。它是搜索引擎最基本的排序算法之一。当用户通过关键词进行搜索时，关键词在某个网页中出现的次数越多，位置越重要，该网页被认为更符合用户的需求。早期，大量的搜索引擎（如Infoseek、Nutch、Excite、Lycos等）使用该算法对网页进行搜索和排序。当然，具体的排序方式在不同的搜索引擎中是不同的。

　　词频位置排序原理

　　该算法以搜索词与网页的相关性作为排名尺度，通过对搜索词在网页上出现的次数和位置进行加权来计算搜索词在网页中的相关性。在该算法中，单词与网页的相关性与该单词在网页中的权重成正比。

　　通过对词频和位置进行加权，可以得到关键词在网页上的权重。当用户搜索关键词时，搜索引擎会根据搜索词在不同网页上的相关性对搜索词进行排序。这就是词频位置加权排序算法。

　　词频加权法

　　词频加权方法包括绝对词频加权、相对词频加权、逆词频加权、基于词判别值的加权等。

　　对于单词搜索引擎和简单的检索需求，可以通过简单地计算一个词在网页中出现的频率来给出​​权重；对于具有多种逻辑功能的搜索引擎，必须整合其他加权排名方法。因为在使用多种逻辑搜索方式进行搜索时，搜索结果与搜索方式中的每个搜索词相关，并且每个搜索词在所有网页中的总频率并不相同。如果按照总重量排序， 会导致结果不相关。这时可以利用相对词频加权的原理来解决这个问题：通过对大量网页的统计，对所有网页中出现频率较高的词赋予较低的初始值；相对地，在所有网页中出现频率较低的词被赋予较低的初始值。话，给予更高的权重。

　　位置加权法

　　位置加权主要是对网页中不同位置和布局的词赋予不同的权重，从而根据权重确定搜索结果与搜索词的相关程度。

　　词位包括：页面标题、页面描述、关键词、正文标题、正文内容、文字链接、alt标志等。

　　布局包括：字体、字号、是加粗还是强调等。和传统文档一样，出现在更重要位置的单词，比如正文的标题和结尾句，一般会给予更大的权重。在理想状态下，这些不同标签对应的内容在表达网页主题的能力上是不同的。通常，具有较大字符（粗体和强调）的地方通常会被赋予更大的权重。

　　实现节奏

　　排序算法实现的基本步骤是：采集网页，解析网页，过滤停用词，获取关键词（中文自动切词），根据<的位置和频率进行加权@关键词 根据用户搜索时网页中关键词 的权重对词与网页的相关性进行排序。

　　词频定位算法评测

　　优势

　　利用词频和位置加权算法是在传统文献检索理论和技术的基础上发展起来的。它具有简单易行的优点。是搜索引擎早期排序的主要思想，技术最为成熟。

　　缺点

　　词频统计比较适合文档数据的布局，但互联网时代的主要文档都是网页形式。该算法仅根据词频和位置信息进行排序，完全没有使用网络中超文本的新特征。可以说是前网络时代的一项技术。

　　现在几乎每个人都可以随意在互联网上发布各种内容。具有相同词频的两个网页的质量可能会有很大不同。难以保证文档的版式和文档的质量。

　　很多SEO网页内容的制作者绞尽脑汁，把关键词堆在自己的页面上，尤其是把与主题无关的关键词放在重要位置（尤其是）。用户浏览网页时，根本看不到，但被搜索引擎抓取时，却能找到。对此，搜索引擎也研究了各种方法来检测和惩罚（黑帽SEO）这种作弊行为。

　　总结：目前的搜索引擎已经开发出比较合理的链接分析算法，但是如果单纯依靠链接分析，可能会出现话题漂移的问题。因此，无论网页的质量有多高，无论网页的权威性如何，如果搜索词与网页的相关性不高，对用户来说都是无用的。因此，需要将链接分析与词频信息结合起来，进行综合分析，以获得更好的排名效果。目前，词频位置加权排序算法仍然是很多搜索引擎的核心排序技术。