搜索引擎优化自学(闻道软件工作室开发的几款软件和搜索引擎的技术有不少重叠)

　　搜索引擎优化自学(闻道软件工作室开发的几款软件和搜索引擎的技术有不少重叠)

　　文道软件工作室开发的软件和搜索引擎技术有很多重叠。例如，即将推出的实际上是一个简单的垂直搜索引擎。另外，我们在多个项目中应用的网络爬虫模块也是一个搜索引擎。技术的重要组成部分。

　　文道软件工作室的工程师虽然没有一个人参与过大型搜索引擎的开发，但都非常感兴趣。本文基于一些类似的项目经验和公开资料，对搜索引擎相关技术做一个简单的讲解。

　　1、 蜘蛛数据源

　　爬虫作为搜索引擎海量数据的来源，是搜索引擎技术的重要组成部分。文道软件工作室有自己开发的爬虫，所以对这个技术比较熟悉。

　　Crawler 是英文的 Spider。其实翻译成蜘蛛比较容易理解。网站的众多链接组成了一个巨大的网络，搜索引擎采集的内容在这里就像一只勤劳的蜘蛛。在网上爬行，每遇到一个感兴趣的节点，就记录下来，供其他程序处理。

　　爬虫的实现其实并不难。作者使用C++开发了一个爬虫原型，代码只有500行左右，而使用python则不到100行。

　　但是，任何程序只要涉及海量数据处理，其开发难度和开发周期就会变得非常大。举个简单的例子来判断一个链接是否被抓取。这是爬虫每次分析链接时必须做出的判断。如果此时你的内存中只有几千或几万个链接，即使是一个一个的遍历比较也基本可以满足要求，但如果是十万、一百万、一千万、十亿级别? 红黑树，这些算法勉强能应付十亿、百亿、千亿、万亿级别的？它只能被索引。

　　百度技术委员会主席陈尚义透露，“百度每天处理近100PB的数据，1PB相当于100万个Gs，相当于5000个国家图书馆的信息总和。”

　　如此庞大的数据量，百度的技术实力可见一斑。

　　除了搜索引擎，爬虫技术其实应用在很多场景中。比如新兴的舆情分析系统和数据挖掘系统。

　　现在越来越多的公司意识到数据的重要性。爬虫作为重要的数据源，未来肯定会在更多领域得到应用。

　　2、 中文分词-数据预处理

　　中文分词也是搜索引擎中的一项重要技术。分词的准确性直接关系到查询结构是否符合搜索者的搜索意图。

　　中文分词比英文分词困难很多，因为英文有自然的分隔符，每个词都有一个意思。例如，“文道软件工作室”根据空间可以很容易地分为“文道”、“软件”和“文道”。三个字“工作室”。对应中文的“翼道软件工作室”，可以有“翼/道/软件/ware/work/work/room”、“翼道/software/ware/work/room”、“翼道/software/有划分“工作室”的方法很多，等等。

　　中文分词是一个需要深入研究的领域。当然，目前也有一些比较好的中文词库，大大简化了开发者的工作。

　　3、 全文搜索-数据预处理

　　索引是大量数据查询必不可少的重要方法。对于索引数据，我们可以在短时间内从海量数据中搜索到相同的数据。

　　为了便于理解，我们可以把索引看成是一个图书目录。有了目录，我们可以在比较短的时间内快速找到自己感兴趣的内容，而无需翻页找。

　　全文检索只有在中文分词后才能完成。需要将一个文章分成一个关键词，然后分别建立索引，以达到从文章的内容中查找的目的。

　　4、 排序-数据预处理

　　排序是搜索引擎非常重要的部分。不合理的排序也会极大地损害用户体验。很多站长为了提高排名有很多作弊手段，这使得排序算法的开发难度加大。

　　搜索引擎可以获得的参数很少。无论排序算法如何变化，都只是调整了这些参数的权重。下面列出了两个重要参数。

　　a)、内容

　　搜索引擎现在非常重视用户体验，因此这将是影响排名的最重要参数。

　　如何判断一个网站的内容质量？原创 学位是一个重要的标准。比较常见的原创度判断算法有一种基于空间向量的余弦算法。该算法基于关键词的频率和权重。对于很多做伪原创的站长来说，这是值得研究的。

　　b)、外链

　　外部链接仍然是搜索引擎评价网站质量的重要标准。我不会在这里重复它们。

　　5、查询-数据展示

　　很多人认为百度、谷歌等搜索引擎可以在如此短的时间内在海量数据中找到结果。查询算法的难度一定很复杂，其实不然。相反，这是搜索引擎技术中最简单的部分。它们很快，因为在前面的步骤之后，它们已经为您的查询准备了数据。

　　原来的：