搜索引擎主题模型优化(产品特色编辑推荐《这就是搜索引擎：核心技术详解》(图))

　　搜索引擎主题模型优化(产品特色编辑推荐《这就是搜索引擎：核心技术详解》(图))

　　产品特性编辑推荐

　　《这就是搜索引擎：核心技术详解》适合所有对搜索引擎技术感兴趣的人，尤其是相关领域的学生、对搜索引擎核心技术感兴趣的技术人员、从事搜索引擎的相关人员优化和中小型网站。漫长的等待更有价值。

　　简单的介绍

　　搜索引擎作为互联网发展中的重要应用，已经成为互联网各个领域的制高点，其重要性不言而喻。搜索引擎领域也是互联网应用中少有的以核心技术为命脉的领域。搜索引擎的各个子系统是如何设计的？这已成为广大技术人员和搜索引擎优化者关注的内容。

　　《这就是搜索引擎：核心技术详解》的特点是内容新颖、全面、通俗易懂。对实际搜索引擎中涉及的各种核心技术进行了全面详细的介绍。除了以网络爬虫、索引系统、排名系统、链接分析和用户分析为核心的搜索系统外，还包括网页反作弊、缓存管理、网页重复数据删除技术等实际搜索引擎必须具备的技术。关注，同时在相当大的篇幅中讲解了云计算和云存储的核心技术原理。此外，本书还关注了搜索引擎开发的前沿技术：Google' s caffeine系统和Megastore等新的云计算技术，百度的暗网爬虫技术阿拉丁计划，内容农场作弊，机器学习排序等，很多新技术在相关章节有详细的讲解。同时，对社交搜索、实时搜索、上下文搜索等搜索引擎未来的发展方向给出了技术展望。为了加深读者的理解，书中引入了大量生动的图片来讲解算法的原理。相信读者会发现，原来搜索引擎的核心技术比原先想象的要容易理解得多。许多新技术在相关章节中有详细解释。同时，对社交搜索、实时搜索、上下文搜索等搜索引擎未来的发展方向给出了技术展望。为了加深读者的理解，书中引入了大量生动的图片来讲解算法的原理。相信读者会发现，原来搜索引擎的核心技术比原先想象的要容易理解得多。许多新技术在相关章节中有详细解释。同时，对社交搜索、实时搜索、上下文搜索等搜索引擎未来的发展方向给出了技术展望。为了加深读者的理解，书中引入了大量生动的图片来讲解算法的原理。相信读者会发现，原来搜索引擎的核心技术比原先想象的要容易理解得多。

　　关于作者

　　张君林是技术著作《这就是搜索引擎：核心技术详解》的作者，现任畅捷通智能平台总监。在此之前，张君林曾在阿里巴巴搜索技术中心、百度商搜索部风潮广告平台、新浪微博搜索部和数据系统部担任高级技术专家。曾任新浪微博技术委员会委员，负责算法策略方向。张君林也是智能信息聚合网站“万聚网”的联合创始人之一。他的研发兴趣集中在：搜索技术、推荐系统、社交挖掘、自然语言处理和大数据算法架构，等，在上述领域有多年的行业实践经验。张君林毕业于天津大学管理学院。1999年至2004年在中国科学院软件研究所直接攻读博*敏*感*词*。他的研究兴趣是信息检索理论和自然语言处理。学习期间，在ACL/COLING/IJCNLP等国际会议上发表学术论文多篇。此外，他在此期间领导的搜索系统在美国国防部DARPA主办的第二届TREC高精度检索系统评估中，赢得了17个国际高水平研究团队的激烈竞争，并在综合名称中取得优异成绩。. 并在上述领域拥有多年的工业实践经验。张君林毕业于天津大学管理学院。1999年至2004年在中国科学院软件研究所直接攻读博*敏*感*词*。他的研究兴趣是信息检索理论和自然语言处理。学习期间，在ACL/COLING/IJCNLP等国际会议上发表学术论文多篇。此外，他在此期间领导的搜索系统在美国国防部DARPA主办的第二届TREC高精度检索系统评估中，赢得了17个国际高水平研究团队的激烈竞争，并在综合名称中取得优异成绩。. 并在上述领域拥有多年的工业实践经验。张君林毕业于天津大学管理学院。1999年至2004年在中国科学院软件研究所直接攻读博*敏*感*词*。他的研究兴趣是信息检索理论和自然语言处理。学习期间，在ACL/COLING/IJCNLP等国际会议上发表学术论文多篇。此外，他在此期间领导的搜索系统在美国国防部DARPA主办的第二届TREC高精度检索系统评估中，赢得了17个国际高水平研究团队的激烈竞争，并在综合名称中取得优异成绩。. 1999年至2004年在中国科学院软件研究所直接攻读博*敏*感*词*。他的研究兴趣是信息检索理论和自然语言处理。学习期间，在ACL/COLING/IJCNLP等国际会议上发表学术论文多篇。此外，他在此期间领导的搜索系统在美国国防部DARPA主办的第二届TREC高精度检索系统评估中，赢得了17个国际高水平研究团队的激烈竞争，并在综合名称中取得优异成绩。. 1999年至2004年在中国科学院软件研究所直接攻读博*敏*感*词*。他的研究兴趣是信息检索理论和自然语言处理。学习期间，在ACL/COLING/IJCNLP等国际会议上发表学术论文多篇。此外，他在此期间领导的搜索系统在美国国防部DARPA主办的第二届TREC高精度检索系统评估中，赢得了17个国际高水平研究团队的激烈竞争，并在综合名称中取得优异成绩。. 在ACL/COLING/IJCNLP等国际会议上发表学术论文多篇。此外，他在此期间领导的搜索系统在美国国防部DARPA主办的第二届TREC高精度检索系统评估中，赢得了17个国际高水平研究团队的激烈竞争，并在综合名称中取得优异成绩。. 在ACL/COLING/IJCNLP等国际会议上发表学术论文多篇。此外，他在此期间领导的搜索系统在美国国防部DARPA主办的第二届TREC高精度检索系统评估中，赢得了17个国际高水平研究团队的激烈竞争，并在综合名称中取得优异成绩。.

　　内容

　　第一章搜索引擎及其技术架构

　　1.1 为什么搜索引擎很重要

　　1.1.1 互联网的发展

　　1.1.2 商业搜索引擎公司的发展

　　1.1.3 搜索引擎的重要地位

　　1.2 搜索引擎技术的历史

　　1.2.1 史前时代：目录的产生

　　1.2.2 第一代：文本检索的产生

　　1.2.3 第二代：链接分析的产生

　　1.2.4 第三代：以用户为中心的一代

　　1.3 搜索引擎的3个目标

　　1.4 搜索引擎的3个核心问题

　　1.4.1 3 核心问题

　　1.4.2 与技术发展的关系

　　1.5 搜索引擎技术架构

　　第 2 章网络爬虫

　　2.1 通用爬虫框架

　　2.2 优秀爬虫的特点

　　2.3 履带质量评价标准

　　2.4 爬取策略

　　2.4.1 广度优先遍历策略（Breath First）

　　2.4.2 Partial PageRank 策略（Partial PageRank）

　　2.4.3 OCIP策略（在线页面重要性计算）

　　2.4.4 个大型站点优先（大型站点优先）

　　2.5 网页更新策略

　　2.5.1 历史参考策略

　　2.5.2 用户体验策略

　　2.5.3 聚类采样策略

　　2.6 深网爬行

　　2.6.1 查询组合问题

　　2.6.2 在文本框中填写问题

　　2.7 分布式爬虫

　　2.7.1个主从分布式爬虫（Master-Slave）

　　2.7.2 点对点

　　本章小结

　　本章参考资料

　　第 3 章搜索引擎索引

　　3.1 索引基础

　　3.1.1 个词文档矩阵

　　3.1.2 倒排索引的基本概念

　　3.1.3 倒排索引的简单例子

　　3.2词词典

　　3.2.1 Hash加链表

　　3.2.2 树状结构

　　3.3 发帖列表

　　3.4 创建索引

　　3.4.1 两次遍历文档的方法（2-Pass In-Memory Inversion）

　　3.4.2 基于排序的反转

　　3.4.3 基于合并的反转

　　3.5 动态索引

　　3.6 索引更新策略

　　3.6.1 完整的重建策略（Complete Re-Build）

　　3.6.2 重新合并策略（Re-Merge）

　　3.6.3 就地更新策略（In-Place）

　　3.6.4 混合策略（Hybrid）

　　3.7 查询处理

　　3.7.一次 1 个文档

　　3.7.2 一次一个词（Term at a Time）

　　3.7.3 跳过指针

　　3.8 多字段索引

　　3.8.1 多索引方法

　　3.8.2 倒排列表法

　　3.8.3 盘区列表

　　3.9 词组查询

　　3.9.1 位置索引（Position Index）

　　3.9.2 Nextword 索引

　　3.9.3 词组索引

　　3.9.4 混合方法

　　3.10 分布式索引（Parallel Indexing）

　　3.10.1 文档分区

　　3.10.2 术语分区

　　3.10.3 两种方案的比较

　　本章小结

　　本章参考资料

　　第四章 索引压缩

　　4.1 字典压缩

　　4.2 倒排列表压缩算法

　　4.2.1 评估索引压缩算法的索引

　　4.2.2 一元编码和二进制编码

　　4.2.3 Elias Gamma 算法和 Elias Delta 算法

　　4.2.4 Golomb 算法和 Rice 算法

　　4.2.5 可变字节算法（Variable Byte）

　　4.2.6 SimpleX 系列算法

　　4.2.7 PForDelta 算法

　　4.3 DocID Reordering（DocID Reordering）

　　4.4 静态索引修剪

　　4.4.1 以词为中心的索引剪裁

　　4.4.2 以文档为中心的索引裁剪

　　本章小结

　　本章参考资料

　　第 5 章搜索模型和搜索排序

　　5.1 个布尔模型

　　5.2 向量空间模型

　　5.2.1 文档表示

　　5.2.2 相似度计算

　　5.2.3 特征权重计算

　　5.3 概率检索模型

　　5.3.1 概率排序原理

　　5.3.2 Binary Independent Model（二进制独立模型）

　　5.3.3 BM25 模型

　　5.3.4 BM25F型号

　　5.4 语言模型方法

　　5.5 学习排名（Learning to Rank）

　　5.5.1 机器学习排序的基本思想

　　5.5.2 PointWise 方法

　　5.5.3 文档对方法（PairWise Approach）

　　5.5.4 文档列表方法（ListWise Approach）

　　5.6 搜索质量评价标准

　　5.6.1 准确率和召回率

　　5.6.2 P@10 指标

　　5.6.3 MAP 指标（Mean Average Precision）

　　本章小结

　　本章参考资料

　　第六章链路分析

　　6.1 网络地图

　　6.2 两个概念模型和算法的关系

　　6.2.1 随机冲浪模型

　　6.2.2 子集传播模型

　　6.2.3 链接分析算法之间的关系

　　6.3 PageRank算法

　　6.3.1 从链内数到PageRank

　　6.3.2 PageRank 计算

　　6.3.3 Link Sink and Teleporting

　　6.4 HITS算法（Hypertext Induced Topic Selection）

　　6.4.1个Hub页面和Authority页面

　　6.4.2 关系的相互增强

　　6.4.3 HITS算法

　　6.4.4 HITS算法的问题

　　6.4.5 HITS算法与PageRank算法对比

　　6.5 SALSA 算法

　　6.5.1 确定计算对象集

　　6.5.2 链接关系的传播

　　6.5.3 权限权重计算

　　6.6 Topic Sensitive PageRank（Topic Sensitive PageRank）

　　6.6.1 主题敏感的PageRank和PageRank的区别

　　6.6.2 主题敏感的PageRank计算过程

　　6.6.3 使用主题敏感的PageRank构建个性化搜索

　　6.7 山顶算法

　　6.7.1 Hilltop算法的一些基本定义

　　6.7.2 山顶算法

　　6.8 其他改进算法

　　6.8.1 智能冲浪模型

　　6.8.2 偏向冲浪者模型

　　6.8.3 PHITS算法（HITS的概率类比）

　　6.8.4 BFS算法（Backward Forward Step）

　　本章小结

　　本章参考资料

　　第七章云存储与云计算

　　7.1 云存储和云计算概述

　　7.1.1 基本假设

　　7.1.2 理论基础

　　7.1.3 数据模型

　　7.1.4 基本问题

　　7.1.5 Google 的云存储和云计算架构

　　7.2 谷歌文件系统 (GFS)

　　7.2.1 GFS 设计原则

　　7.2.2 GFS整体架构

　　7.2.3 GFS 主控服务器

　　7.2.4 系统交互行为

　　7.3 小胖锁服务

　　7.4 BigTable

　　7.4.1 BigTable 数据模型

　　7.4.2 BigTable的整体结构

　　7.4.3 BigTable管理数据

　　7.4.4 主服务器

　　7.4.5 平板服务器

　　7.5 Megastore 系统

　　7.5.1 实体组切分

　　7.5.2 数据模型

　　7.5.3 数据读写与备份

　　7.6 Map/Reduce 云计算模型

　　7.6.1 计算模型

　　7.6.2 整体逻辑流程

　　7.6.3 应用实例

　　7.7 *敏*感*词*系统--Percolator

　　7.7.1 事务支持

　　7.7.2 观察/通知架构

　　7.8 Pregel图计算模型

　　7.9 Dynomo 云存储系统

　　7.9.1 分区算法

　　7.9.2 数据备份（复制）

　　7.9.3 数据读写

　　7.9.4 数据版本控制

　　7.10 PNUTS云存储系统

　　7.10.1 PNUTS 整体架构

　　7.10.2 存储单元

　　7.10.3 分表控制器和数据路由器

　　7.10.4 雅虎通讯社

　　7.10.5 数据一致性

　　7.11 HayStack 存储系统

　　7.11.1 HayStack 整体架构

　　7.11.2 目录服务

　　7.11.3 HayStack 缓存

　　7.11.4 HayStack 存储系统

　　本章小结

　　本章参考资料

　　第八章 网络反作弊

　　8.1 内容作弊

　　8.1.1 常见的内容作弊方法

　　8.1.2 内容农场

　　8.2 链接作弊

　　8.3 页面隐藏作弊

　　8.4 Web 2.0 作弊方法

　　8.5 反作弊技术总体思路

　　8.5.1 信任传播模型

　　8.5.2 不信任传播模型

　　8.5.3 异常发现模型

　　8.6 种通用链接反作弊方法

　　8.6.1 TrustRank 算法

　　8.6.2 BadRank算法

　　8.6.3 SpamRank

　　8.7 专用链接防作弊技术

　　8.7.1 识别链接场

　　8.7.2 识别谷歌轰炸

　　8.8 识别内容作弊

　　8.9 反隐藏作弊

　　8.9.1 识别页面隐藏

　　8.9.2 识别网页重定向

　　8.10 搜索引擎反作弊综合框架

　　本章小结

　　本章参考资料

　　第九章用户查询意图分析

　　9.1 搜索行为和意图

　　9.1.1 用户搜索行为

　　9.1.2 用户搜索意图分类

　　9.2 搜索日志挖掘

　　9.2.1 查询会话

　　9.2.2 点击图表

　　9.2.3 查询图

　　9.3 相关搜索

　　9.3.1 基于查询会话的方法

　　9.3.2 基于点击图的方法

　　9.4 检查纠错

　　9.4.1 编辑距离

　　9.4.2 噪声通道模型（Noise Channel Model）

　　本章小结

　　本章参考资料

　　第 10 章 Web 重复数据删除

　　10.1 通用去重算法框架

　　10.2 Shingling 算法

　　10.3 I-Match算法

　　10.4 SimHash算法

　　10.4.1 文档指纹计算

　　10.4.2 搜索类似文档

　　10.5 SpotSig 算法

　　10.5.1 特征提取

　　10.5.2 搜索类似文档

　　本章小结

　　本章参考资料

　　第11章搜索引擎缓存机制

　　11.1 搜索引擎缓存系统架构

　　11.2 缓存对象

　　11.3 缓存结构

　　11.4 驱逐政策

　　11.4.1 动态策略

　　11.4.2 混合策略

　　11.5 刷新策略

　　本章小结

　　本章参考资料

　　第十二章搜索引擎发展趋势

　　12.1 个性化搜索

　　12.2 社交搜索

　　12.3 实时搜索

　　12.4 手机搜索

　　12.5 位置感知搜索

　　12.6 跨语言搜索

　　12.7 多媒体搜索

　　12.8 上下文搜索

　　前言/前言

　　互联网产品多样化，以产品为导向，以营销为导向，以技术为导向。但是，擅长技术的互联网产品占比相对较小。搜索引擎是目前互联网产品中具有技术含量的产品，如果不是唯一的，至少也是其中之一。

　　经过十多年的发展，搜索引擎已经成为互联网的重要入口之一。Twitter联合创始人埃文威廉姆斯提出“域名已死理论”：令人难忘的域名不再重要，因为人们会通过搜索网站进入。搜索引擎排名对于中小型网站流量非常重要。了解搜索引擎简单界面背后的技术原理，其实对很多人来说都是非常重要的。

　　为什么会有这本书

　　写搜索引擎技术书的最初想法是两年前诞生的。当时的场景是对团队成员进行搜索技术培训，但是我搜索了相关书籍，却没有找到一本非常合适的搜索技术入门书籍。当时市场上的书籍，要么是信息检索理论的专着，理论性太强，不易理解，真正讲搜索引擎技术的章节也不多；或者它们是太实用的书籍，例如 Lucene 代码分析，例如搜索引擎。这种充满算法的应用直接分析开源系统代码并不是一种非常高效的学习方法。所以那个时候，我生来就是写一本通俗易懂的搜索引擎书，适合没有相关技术背景的人，并且更全面，并融合了新技术。但我开始写作是一年前。

　　在写这本书之前，我为自己设定了几个目标。首先，内容要全面，即全面涵盖搜索引擎相关技术的主要方面。不仅要收录

倒排索引、检索模型、爬虫等常见内容，还要详细讲解链接分析、网页反作弊、用户搜索意图分析、云存储、网页去重甚至搜索引擎缓存等。一个完整搜索引擎的所有有机组成部分，但详细介绍其原理的书籍并不多。我希望尽可能全面。

　　第二个目标很容易理解。希望没有相关技术背景的人能通过阅读本书有所收获，也希望不懂技术的同学也能大致了解一下。这个目标看似简单，但实际上并不容易实现。我不敢说这本书达到了这个目标，但我已经尽力了。具体措施包括以下三个方面。

　　一是尽可能减少数学公式的数量，除非公式没有列出。尽管数学公式具有简单之美，但大多数人实际上对数学符号存在恐惧和回避。多年前我也有类似的心理，所以尽可能不要使用数学公式。

　　一是尽量多举例，特别是在一些比较难理解的地方。需要举例来加深理解。

　　还有更多的绘图。就我个人的经验而言，虽然算法或技术很抽象，但如果深入理解原理，把复杂的东西化简，绝对可以把算法变成一幅生动的图画。如果你无法在脑海中形成算法的直观图形表示，则说明你对其原理没有透彻的理解。这是我判断自己是否对算法有深刻理解的私人标准。鉴于此，本书在讲解算法的地方，使用了大量的算法原理图。全书收录

300多幅算法原理解释图。相信这对读者深入理解算法有很大的帮助。

　　第三个目标是强调新现象和新技术，比如谷歌的caffeine系统和Megastore等云存储系统，Pregel云图计算模型，暗网爬取技术，Web2.0网页作弊，机器学习排序，上下文搜索、社交搜索等在相关章节中有解释。

　　第四个目标是强调原理，不纠结技术细节。新手很容易遇到的一个问题是，他们喜欢挖掘细节，只见树木不见森林，懂一个公式却不懂背后的基本思想和出发点。我接触过很多技术人员，七八点就会有这个特点。有一个“道教哪个好”的问题。什么是“道”？什么是“*敏*感*词*”？例如，《孙子兵法》是道，而《三十六计》是技法。“道”是宏观的、有原则的、持久的基本原则，而“技术”是基于以下基本原则的具体方法和措施，是变化无常的。技术也是如此。算法本身的细节就是“技巧”，算法所体现的基本思想就是“道”。知“道”、学“技”，虽然两者不能偏，但如果要择优，毫无疑问我会先“道”再“术”。

　　以上四点是写本书之前设定的目标。既然写完了，可能达不到原意的地方不多，但努力就好了。写书的过程很辛苦，至少比我想象的要难。因为工作忙，每天只能早起，加上周末和节假日。也许书中有这样的缺点，但我可以说我是真诚地写这本书的。

　　这本书是给谁的

　　如果您是以下人士之一，那么本书适合您。

　　1.对搜索引擎核心算法感兴趣的技术人员

　　搜索引擎的整体框架是怎样的？收录

哪些核心技术？

　　网络爬虫的基本结构是什么？常见的爬取策略有哪些？什么是暗网爬行？如何构建分布式爬虫？百度的阿拉丁计划是什么？

　　什么是倒排索引？如何对倒排索引进行数据压缩？

　　搜索引擎如何处理这个是搜索引擎：核心技术详解电子书下载mobi epub pdf txt