百度网页关键字抓取(之前的基本工作原理包括如下的过程原理是什么？)

　　百度网页关键字抓取(之前的基本工作原理包括如下的过程原理是什么？)

　　看了我之前写的答案，有些地方还不是很清楚。再次回答。

　　在回答你的问题之前，让我先解释四个问题：

　　1.什么是纯文本

　　2.搜索引擎的工作原理

　　3.什么是单页网站。单页 Web 应用程序，简称 SPA。中文含义：单页网页应用。

　　4.为什么总有人说：百度不能识别js代码，百度不爬js代码。

　　一、什么是纯文本。

　　您打开一个 网站，右键单击并查看页面源代码。您现在看到的是网页的纯文本。爬虫爬取你的 网站 只不过是为了获取你网页的纯文本代码。

　　二、搜索引擎的工作原理

　　这里我引用百度百科的介绍：

　　搜索引擎的基本工作原理包括以下三个过程：首先，在互联网上发现和采集网页信息；同时提取和整理信息，建立索引库；签出文档，评估文档与查询的相关性，对输出的结果进行排序，将查询结果返回给用户。

　　所谓百度爬虫，其实就是在完成搜索引擎的第一项工作：采集网页信息。这些网页就是第一点提到的纯文本内容。

　　三、什么是单页网站

　　既然你提了这个问题，那我就简单说一下：所谓单页网站就是纯js生成网站内容的网站。用户浏览 网站 与传统的 网站 没有什么不同，因为用户通过浏览器浏览网页。但是，爬虫看到的东西是不同的。爬虫只能看到一个小的脚本标签，用户看到的内容对爬虫来说是不可见的。这相当于爬虫在完成搜索引擎的第一项工作时遇到了阻塞。无法进行以下其他工作。

　　四、百度不识别js代码？百度不爬js代码？

　　所谓百度不识别js代码，百度不爬js代码，更准确的说：爬虫没有js代码的解析环境，无法爬取js生成的内容。比如：你一定听说过有人在给别人做友情链接的时候用js生成友情链接，特别不真实。这就是为什么js生成的朋友链不被认为是外链的原因。因为百度爬虫无法爬取js生成的a标签，也就是这个链接。

　　为什么百度要添加一个代号为baiduspider render的爬虫程序？

　　随着js模板引擎的普及，越来越多的网站使用js模板引擎来生成网页内容（也就是我上面提到的SPA网站）。如果说百度还是用传统的网页爬取方式（这些网站并没有为搜索引擎爬虫做专门的内容生成），那么后果就是百度的信息索引库的内容会越来越多更稀缺。当用户通过搜索引擎搜索他们想要的信息时，搜索结果会越来越少。

　　因为百度无法解析和渲染js，SPA网站的纯文本内容是无法捕获的。即使被爬取了，仍然是一些没有收录含义的纯文本内容。

　　这就是为什么百度要添加渲染爬虫的原因：因为它需要渲染js代码，它抓取渲染的纯文本内容。如果还是不明白，可以理解为爬虫用浏览器浏览你的网页。渲染爬虫的加入只是为了改进搜索引擎的第一个工作功能，其余步骤不受影响。

　　注意：虽然爬虫是用浏览器浏览你的网页，但它不会像人一样点击你的网页内容。他想要得到的只是浏览器渲染的纯文本内容。

　　渲染程序对SEO的影响

　　对于SEO来说，只需要注意js生成的反向链接也会算作反向链接。其他的和原来的没什么区别。只需留意搜索引擎的算法更新。

　　正如其他人所说，CSS、字体文件和功能表示的标识不太可能按内容影响排序。即使这些因素有一天会影响排名，比例也可以忽略不计。

　　搜索引擎主要是对文本信息进行处理和检索，以帮助用户找到他们想要获取的内容。也就是说，网站内容的质量是你网站排名的关键。随着人工智能的发展，网站的内容会越来越重要，外链会越来越弱。过去，外链为王，现在内容为王。

　　有兴趣的可以了解一下百度AI开放平台，语言处理的基础技术——百度AI。可以大致了解百度搜索对自然语言处理的发展程度。例如：文本情感分析、文本标签提取、文本内容分类等。