网页qq抓取什么原理( 本文由金楠于2016-12-213:17发布在SEO网站优化阅读)

　　网页qq抓取什么原理(

本文由金楠于2016-12-213:17发布在SEO网站优化阅读)

　　搜索引擎如何抓取和处理网页

　　本文由金楠发表于2016-12-2 13:17 SEO网站优化阅读：2554

　　服务器处理是对蜘蛛爬取的网页的处理。它是提高搜索准确性和用户体验的重要组成部分。和爬虫一样，是搜索引擎后台处理的一部分。

　　搜索引擎蜘蛛抓取的网页数据不能直接参与排名。由于数据量过大，如果直接被搜索者检索，大量相关网页的排名计算量非常大，不可能在一两秒内给用户提供答案。因此，搜索引擎会对抓取到的网页进行预处理，得到关键词的索引，相当于对网页上的每一个关键词进行预排序，用户在搜索时可以更快的获得搜索结果。.

　　服务器处理网页的工作通常包括网页结构化、分词、去噪和去重、索引、超链接分析、数据集成等。

　　（1）网页结构化：从网页中提取有用信息，去除HTML代码和足迹，剩下的文字信息就是服务器需要分析处理的数据。

　　搜索引擎蜘蛛抓取的网页收录了整个网页的所有信息。导航、类别列表、友情链接，甚至广告都会被抓取到搜索引擎。此类内容不能直接用于预排序处理。. 因此，搜索引擎会将网页的 HTML 代码去掉，剩下的文本内容，如正文、Meta 标签文本、锚文本、图片和视频注释等，可以进行排名处理，以便对排名的干扰较少。以下代码：

　　Apple 全球 14 家最著名的零售店

　　腾讯科技讯（云松）北京时间3月12日消息，据外媒报道，近日，全球知名杂志《*敏*感*词*》发布了苹果...

　　以上代码，服务器网页结构化后，去掉代码后去掉：“苹果全球第14家最有名的零售店，腾讯科技讯（云松）北京时间3月12日，据外媒报道，近日，世界著名杂志《*敏*感*词*》刊登了《苹果...》。

　　（2） 分词：通常用在中文搜索引擎中。因为中文和英文意思不同，所以中文的意思一般是词汇。有些词是一个词汇，或者多个词可以组成一个词汇。而且，还有中文单词之间没有分离，因此在中文搜索引擎中，需要根据字典或日常使用习惯，按词汇分句，建立按词汇索引的信息数据库。

　　比如上面这个网页“苹果全球最著名的14家零售店”，搜索引擎将字典分词调用为“苹果”、“全球”、“14”、“大”、“最”、“著名” ，“零售店”，然后根据一定的条件，建立由这些词索引的网页数据，然后进行一系列的排序程序。但在实际应用中，不仅以字典为依据，将日常搜索的统计数据和网页本身的词汇构成加入到分词中。

　　由于中文词汇太多，搜索引擎在判断网络词汇时需要借用词典进行分词。搜索引擎分词的准确性取决于词典的准确性和完整性。主要搜索引擎将建立独立的词典。这本词典不是静态的。不断增加新词，提出常用词。

　　打电话时安排更快。调用过程是将抓取到的网页文本与字典一一匹配，相当于查字典的过程。

　　需要说明的是，服务器在进行分词时，会以正反两种顺序对网页中的文本进行扫描，并利用词典中收录的长短词对网页文本进行多次分词。例如：“中国地图”通过字典的正向扫描分为“中国”和“地图”。这是最短的词汇。根据匹配最大的，可以分为“中国地图”，然后建立一个词对应的索引。物品。如图2.22和图2.23《中国地图》百度分词两个结果。

　　图2.22 《中国地图》百度分词结果

　　图2.23 《中国地图》百度分词结果

　　基于统计数据的分词是对字典分词的补充和优化。由于词典中新词匹配度低，搜索引擎不能很好地对新的关键词网页进行切分和索引，大大降低了搜索引擎搜索新关键词的能力。作为词典分词的补充，服务器可以根据每个词在网页中的出现频率。频率越高，说明这些词组成词，形成词汇统计数据库，在分词时调用匹配。例如，搜索“鞋子的理论是什么”。因为习近平主席提出的“鞋论”近期受到广泛关注，“鞋”四个字出现的频率

　　图2.24 《鞋子的理论是什么》百度分词结果

　　值得注意的是，每个搜索引擎的分词结果并不完全相同，满足用户需求的能力也不同，这主要取决于搜索引擎词典的丰富性和准确性。因此，不同搜索引擎对网页的切分结果并不完全相同，也是影响搜索结果的一个因素。SEOer对于分词所能做的，就是将常用的搜索词尽量组合起来，这样在搜索引擎分词的时候，就可以把常用的词转化为同一个词建立索引，获得更高的匹配度。.

　　（3）降噪去重：去除影响网页主要信息的无意义重复内容。因为网页信息通常收录较多的重复内容，如广告、页眉和底部信息等；以及文本内容网页中无意义的符号、文字等极大地浪费了搜索引擎资源，因此服务器会将这些无意义的内容从网页中移除。

　　在基于文本的网页中，有很多无意义的文本，如“的”、“了”、“啊”、“的”、“一个”、“那个”等，这些词占了很大的空间，但几乎没有人会搜索这些术语。为了减少无意义内容的干扰，搜索引擎会移除这些内容，即这些内容不会被索引为网页关键词。

　　由于互联网资源庞大，在网站之间转发内容会产生大量重复内容；在同一个网站中，同一个模板使得很多网页收录相同的内容，有的甚至占据了很大的空间。因此，搜索引擎抓取网页后，会检测是否为重复网页，如果一般不是收录；并且在同一个网站中，有很多收录重复内容的网页，比如同一个列表、广告、版权声明等，搜索引擎对这些网页的处理方式是将抓取到的内容与内容进行过滤比较在数据库中。如果相似度太高，则不会是收录，也不会为收录去掉相同的部分。

　　但是，由于互联网上的网页数量庞大，搜索引擎无法完全检测到每个网页。此外，很多内容是允许转载的，所以用户仍然可以搜索到很多相同的结果。但是网页的降噪是一个必要的过程，不仅可以减少资源的浪费，还可以提高排名的准确性。

　　（4）索引：搜索引擎使用网页中的词作为关键词，将便于查询的有序文件条目创建并存储在搜索引擎的索引数据库中。索引通常为分为正向索引和倒排索引两种索引。

　　正向索引是搜索引擎将抓取的网页。经过分词、去噪等操作后，以网页文件为单位映射网页文件中的关键词。简单的说，前向索引就是把一个网页文件的每一个关键词信息作为一个项存储，包括次数、频率、加粗和加黑，以及关键词信息的位置，以及根据程度遵循重要的Order 关键词。如图2.25是搜索引擎索引库前向索引的简化表，其中每个网页的所有关键词都进行了排序，其中比较重要的关键词是排名更高的位置。需要注意的是网页文件和关键词都有自己的编号，检索速度比较快，

　　倒排索引是以关键词为单位的搜索引擎到不同网页文件的映射。也就是说，搜索引擎使用关键词作为项目名称，内容是收录相同关键词的网页文件的顺序。用户常见的关键词搜索就是调用倒排索引。由于前向索引不能直接获得搜索结果排名，因此倒排索引是对前向索引的补充，也是用户搜索调用的关键索引。当用户搜索特定的关键词，例如“SEO”时，搜索引擎会调用以“SEO”为项名的索引项，然后返回按相关性排列的网页的处理结果给Query用户。如图2. 图26是搜索引擎索引库倒排索引的简化表。从表中可以看出，每个关键词对应了很多收录这个关键词的网页。是经过排序的，将大大提高搜索引擎的查询速度。

　　图2.25 搜索引擎索引库正行索引简化表

　　图2.26 搜索引擎索引库倒排索引简化表

　　搜索引擎索引库是整个搜索过程的基础，没有索引搜索引擎很难找到对应的内容。倒排索引更好的降低了关键词搜索网页的难度，大大提高了搜索引擎返回结果的速度。

　　（5）超链接分析：搜索引擎可以通过对网页链接的分析来计算网页的相关性。就像卖东西一样，所有卖家都会夸自己的东西好，网页也是如此。当然根据网页的性能来判断网页的排名不是很准确，因此搜索引擎希望通过网页以外的标准来衡量网页，在网页以外的标准中，最有利于搜索引擎掌握的就是超链接的数量。外部超链接的质量和质量以及网页导出链接的状态反映了网页的质量和关键词的相关性。这样的链接分析技术在所有搜索引擎中都存在，其中最著名的超链接分析是谷歌。中国公关技术，国内百度李彦宏提出的超链接分析技术，其他搜索引擎也有自己的超链接分析技术，但具体侧重点略有不同。

　　具体的超链接分析技术非常复杂，但最重要的原则是导入链接的数量、导入链接网页的质量、导入链接锚文本。例如，网页A有40个入站链接，其中30个以“SEO”为锚文本的链接；而网页B有30个入站链接和20个以“SEO”为锚文本的链接，一般情况下，网页A在关键词“SEO”排名结果较为理想。

　　由于超链接分析计算量大，计算时间长，当建立倒排索引时，超链接分析已经完成，对索引结果的排名有影响，也可以提高搜索引擎返回结果的速度.

　　（6）数据整合：搜索引擎对网页文件进行处理，将文件数据整理成各种格式，然后进行分类存储。因为网络文件的种类很多，比如Html、PPT、Word、Txt、Jpg 、Bmp、Swf、Mp3等格式，其中文本格式的网页文件可以很好地被搜索引擎识别和处理。描述性文本，对各类数据进行处理然后整合，存储在搜索引擎的数据库中，不同的数据格式分别存储，但在索引和排序时，往往会链接数据相关的内容，以确定其相关性和重要性，然后形成有利于搜索排名的最终数据库。

　　本文节选自金楠的《Seo搜索引擎实战解说》一书。更多信息请关注金楠博客或选择购买本书。