输入关键字 抓取所有网页(一个合格的seoer必须对你的优化对象——搜索引擎)

　　输入关键字 抓取所有网页(一个合格的seoer必须对你的优化对象——搜索引擎)

　　要想成为一个合格的seoer，就必须了解自己的优化对象——搜索引擎，这样才能包容和理解，真正给搜索引擎想要的东西，得到引擎认可，我们得到流量换来*敏*感*词*，这是一个有点恋爱的感觉~~

　　开门见山，送干货。

　　搜索引擎是指一种蜘蛛程序，它沿着链接对互联网上的大量网页内容进行爬取和爬取，存入数据库，通过复杂的算法对其进行预处理，并建立网站索引目录。用户在搜索框中输入关键字后，搜索引擎通过相关排序算法从索引数据库中找到最符合用户需求的页面，并按照一定的权重展示给用户的过程。蜘蛛爬行、页面收录 和排序都是自动处理的。

　　搜索引擎面临的问题或瓶颈

　　用户在搜索内容时必须反应灵敏且准确。在互联网页面的世界里，每天都有无数的页面被创建、更新、删除，而返回最有用和最新的内容是一项巨大而乏味的挑战。搜索引擎蜘蛛需要很长时间才能更新一次数据库中的页面。时间。所以，为了提升用户体验，保证搜索质量，搜索引擎对网站的权重，无论是官方认证，历史快照，搜索频率等都进行了预处理，所以再优秀网站 被搜索引擎收录 出现在搜索结果和蜘蛛爬取过程中需要一段时间。海量数据存储。除了海量网页需要蜘蛛爬取外，网站的结构 还需要蜘蛛去记忆，复杂冗余，逻辑上纠缠不清的网站逻辑会降低蜘蛛的爬取效率，蜘蛛在数据库中建立索引等过程，引擎蜘蛛提高收录的效率引擎蜘蛛通过权重分配、信任外链、网站目录提交等方案。因此，如果网站长时间没有被搜索引擎收录搜索，seoer需要检查网站的内部链逻辑是否过于复杂，导致长蜘蛛爬行过程。索引处理快速、高效且高度可扩展。引擎蜘蛛爬取存储后，需要用复杂的算法进行过滤过滤，提取关键词并计算相关性，然后以树的形式存储，但是网站会随时更新，索引数据也需要响应这些更新，重新计算依赖和索引，从而对引擎服务器性能提出更高的挑战。确定用户意图和人工智能。前几个可以通过开发一定的算法和硬件来有效解决。用户意图的智能识别仍处于机器学习阶段，这也是搜索引擎公司未来的发展方向。随着大数据和区块链技术的不断完善，搜索引擎会更好的理解你，所以网站如果更好的理解搜索引擎，也会间接的更好的理解用户！而索引数据也需要响应这些Updates，重新计算依赖和索引，对引擎服务器性能提出了更高的挑战。确定用户意图和人工智能。前几个可以通过开发一定的算法和硬件来有效解决。用户意图的智能识别仍处于机器学习阶段，这也是搜索引擎公司未来的发展方向。随着大数据和区块链技术的不断完善，搜索引擎会更好的理解你，所以网站如果更好的理解搜索引擎，也会间接的更好的理解用户！而索引数据也需要响应这些Updates，重新计算依赖和索引，对引擎服务器性能提出了更高的挑战。确定用户意图和人工智能。前几个可以通过开发一定的算法和硬件来有效解决。用户意图的智能识别仍处于机器学习阶段，这也是搜索引擎公司未来的发展方向。随着大数据和区块链技术的不断完善，搜索引擎会更好的理解你，所以网站如果更好的理解搜索引擎，也会间接的更好的理解用户！确定用户意图和人工智能。前几个可以通过开发一定的算法和硬件来有效解决。用户意图的智能识别仍处于机器学习阶段，这也是搜索引擎公司未来的发展方向。随着大数据和区块链技术的不断完善，搜索引擎会更好的理解你，所以网站如果更好的理解搜索引擎，也会间接的更好的理解用户！确定用户意图和人工智能。前几个可以通过开发一定的算法和硬件来有效解决。用户意图的智能识别仍处于机器学习阶段，这也是搜索引擎公司未来的发展方向。随着大数据和区块链技术的不断完善，搜索引擎会更好的理解你，所以网站如果更好的理解搜索引擎，也会间接的更好的理解用户！

　　搜索结果显示

　　搜索结果页面的主体有两部分，一部分是广告，另一部分是自然搜索结果。广告和推广部分一般位于页面右侧和前几条搜索结果中，并会在结果末尾标明“广告”或“赞助链接”。正常情况下，右侧最多8个广告，上部3个广告。

　　搜索广告在网络营销行业中通常被称为 PPC。广告商为某些 关键词 出价并为点击付费。有精准营销的思维。受到大多数公司的欢迎。

　　SEOers 最关心自然搜索结果。统计显示，自然搜索结果的总点击量远大于广告点击量，因此seo在企业网络营销效果中起着重要作用。

　　搜索引擎会根据权重对网站的呈现方式做一些调整，让用户可以直接进入目标页面，同时也为网站导入巨大的流量资源，一般包括标题摘要、缩略图标题摘要，二级页面缩进列表，站点范围的链接，迷你站点范围的链接，独立面板一框，丰富的片段，面包屑等等。

　　搜索引擎如何工作

　　搜索引擎的工作原理非常复杂，大致可以分为三个阶段：爬取爬取、预处理、排名。

　　爬行和爬行

　　引擎蜘蛛通过跟随链接访问网页，获取页面的HTML代码并存入数据库。

　　搜索引擎用来抓取和访问页面的程序称为蜘蛛，也称为机器人。

　　搜索引擎直接通过网站地址获取网站信息模拟用户，获取信息后将代码存入原创页面数据库。为了提高爬取数据和爬取效率，会同时使用多个爬虫进行分布式爬取。

　　访问站点时，会先嗅探站点根目录下是否有robots.txt文件。蜘蛛读取该文件后，根据该文件的协议访问整个站点。没有这个文件，蜘蛛默认访问整个站点。

　　搜索引擎会标记自己的访问身份，您可以在后台日志中找到搜索引擎的爬取痕迹。

　　搜索引擎一般使用两种策略爬取整个站点：1.深度优先；2. 广度优先；通常两种策略的组合可以照顾不同类型的网站。

　　理论上蜘蛛可以爬取所有页面，但实际上蜘蛛爬取会有自己的边界和规则。seoer的主要职责是适应蜘蛛爬取规则，尽可能让蜘蛛收录自己的站点信息。

　　为了避免重复爬取和爬取网址，搜索引擎会建立一个地址库来记录和查找未被爬取的页面，以及已经被爬取过的页面。地址库中URL的来源一般有以下几种情况：

　　手动输入的洪流站点。将爬取解析出来的网站外部链接与地址库中的数据进行对比。如果地址库不存在，则为新的 URL。站长通过搜索引擎网页提交表单提交的URL。

　　预处理

　　索引程序对抓取的页面数据进行文本提取、中文分词、网站层次分析、索引建立。

　　获取到网站的内容后，蜘蛛会做以下事情：

　　提取关键词，通过解析代码找到内容块，进行分类和权重存储。中文分词，分词是中文搜索的一个独特步骤。搜索引擎存储和处理页面，用户搜索是基于单词的，而英文自然是用空格分隔的，这样可以有效地进行含义识别。中文分词一般有两种方法：基本字典数据库匹配和统计数据匹配。去停用词，无论是英文还是中文，都会有一些出现频率很高但对内容意思没有影响的词，比如'的'、'地'之类的，在英文里，比如' the', 'a' , 'an' 等词。这些词对用户的意思识别没有帮助，消除它们后，服务器的检索压力就会降低。排除杂音，部分内容为网站的常规内容，对网站的产品或主题没有贡献，如版权声明文字、导航栏、广告等，这部分内容需要删除。经过去重和分词后，一些意思相近的词会在站点中重复出现，但它们代表的意思相同，所以需要对这些词进行分类去重。前向索引，对文本进行逐层过滤后，搜索引擎得到一个唯一能反映页面主要内容的以词为单位的内容集，根据词频提取关键词并赋予权重存入数据库，并根据页面的层次顺序构建。关键字索引库是前向索引。倒排索引，通过关键词排练和组合出现关键词的文件，形成一个文件索引列表，这称为倒排索引，可以用于用户搜索。链接关系计算，是预处理的重要环节。现在所有的主流搜索引擎排名因素都收录网页之间的链流信息。通过这些链信息进行权重计算，谷歌PR值就是这种关系价值的体现。特殊文件处理，对于html文件以外的文件类型，引擎蜘蛛没有办法识别，所以会被淘汰。对出现关键词的文件进行排练和组合，形成文件索引列表，称为倒排索引，可用于用户搜索。链接关系计算，是预处理的重要环节。现在所有的主流搜索引擎排名因素都收录网页之间的链流信息。通过这些链信息进行权重计算，谷歌PR值就是这种关系价值的体现。特殊文件处理，对于html文件以外的文件类型，引擎蜘蛛没有办法识别，所以会被淘汰。对出现关键词的文件进行排练和组合，形成文件索引列表，称为倒排索引，可用于用户搜索。链接关系计算，是预处理的重要环节。现在所有的主流搜索引擎排名因素都收录网页之间的链流信息。通过这些链信息进行权重计算，谷歌PR值就是这种关系价值的体现。特殊文件处理，对于html文件以外的文件类型，引擎蜘蛛没有办法识别，所以会被淘汰。现在所有的主流搜索引擎排名因素都收录网页之间的链流信息。通过这些链信息进行权重计算，谷歌PR值就是这种关系价值的体现。特殊文件处理，对于html文件以外的文件类型，引擎蜘蛛没有办法识别，所以会被淘汰。现在所有的主流搜索引擎排名因素都收录网页之间的链流信息。通过这些链信息进行权重计算，谷歌PR值就是这种关系价值的体现。特殊文件处理，对于html文件以外的文件类型，引擎蜘蛛没有办法识别，所以会被淘汰。

　　排行

　　用户输入关键词后，排名程序会计算相关度，得到关键词矩阵，然后通过索引获取站点信息，按照一定的格式生成搜索结果页面。

　　排名的过程是与用户交互的过程。引擎智能会根据历史搜索和当前搜索进行关联匹配，得到最优的搜索结果并呈现给用户。

　　查词处理，查词处理 ① 中文分词 ② 停用词去除 ③ 指令处理 ④ 拼写校正 ⑤ 集成搜索触发。文件匹配，经过处理，搜索引擎得到一些关键词集合，通过索引找到收录关键词的文件，计算相关度进行排序。初始子集选择，因为搜索结果是海量文件，通常搜索结果页面只显示前100条，百度会返回近1000条记录，根据权重最多可以找到1000条文件记录，作为用于过滤的初始子集。相关性计算，计算相关性是排名过程中最重要的一步，也是seoer优化的重点。①关键词人气，使用历史搜索来计算 关键词 的流行度。②词频和密度。一般认为，关键词在没有关键词堆叠的文档中出现的频率越高，相关性就越高。③关键词位置和形式，是否出现在页面权重高的位置，比如title、H1、strong等，也是前端需要优化的重点区域. ④关键词距离，出现分词计算后关键词的完全匹配，表示最相关，其次是分词后两个词的距离。⑤链接分析和页面权重。除了页面本身的因素外，页面的外部链接也有很大的影响。外部链接权重越高，关键词 的值越高，页面上带有搜索词作为锚文本的传入链接就越多。描述页面越相关。排名过滤和调整，经过相关性计算，大致的排名已经确定，然后搜索引擎可能需要执行一些过滤算法来稍微调整排名，其中最重要的是对作弊网站进行处罚。排名展示，排名确定后，排名程序会调用原页面的标题标签、描述标签、快照日期等数据在页面上展示，有时需要动态生成页面摘要。搜索缓存，用户的 关键词 经常在一段时间内重复。根据 28 法则和长尾理论，最常见的搜索词占不到80%，但通常有比较粗的标题。为了提高搜索效率，引擎会搜索热词。缓存，用户搜索时，可以直接从缓存的数据中检索，无需再次进行相关性计算，大大提高了搜索效率。查询和点击日志，用户的搜索行为将被记录在日志中。这些日志对搜索结果的质量起着重要作用。引擎会自动计算相关权重，影响下次搜索的排名，所以好的网站是持续流量的基石。用户搜索时，可直接从缓存数据中检索，无需再次进行相关性计算，大大提高了搜索效率。查询和点击日志，用户的搜索行为将被记录在日志中。这些日志对搜索结果的质量起着重要作用。引擎会自动计算相关权重，影响下次搜索的排名，所以好的网站是持续流量的基石。用户搜索时，可直接从缓存数据中检索，无需再次进行相关性计算，大大提高了搜索效率。查询和点击日志，用户的搜索行为将被记录在日志中。这些日志对搜索结果的质量起着重要作用。引擎会自动计算相关权重，影响下次搜索的排名，所以好的网站是持续流量的基石。

　　搜索链接的算法原理

　　基于一个假设：好的网站很少会链接到不好的网站，反之，很多垃圾网站会链接到高权威、高信任的索引网站@ > ，试图提高自己的信任指数。用现代术语来说，它是信用背书。使用信用背书可以提高你的网站的权重，获得更好的排名。排名算法的占比越来越高，seoer要注意站点中外链的布局以及自己站点被外链引用的频率。

　　高级搜索命令

　　将搜索词放在双引号中意味着完全匹配不进行分词，甚至序列也必须完全匹配。百度和谷歌都支持这个指令。减号，减号（-）表示搜索不收录减号后面的单词的内容。使用该命令时，减号前面必须有一个空格，减号后面不能有空格，后面是要排除的词。谷歌和百度都支持这个指令。星号、星号 (*) 是常见的通配符，也可用于搜索。百度不支持星号匹配。inurl，用于搜索url中出现查询词的页面。百度和谷歌都支持 inurl 指令。锚点返回的结果，command 是在导入链接的文本中收录搜索词的页面。百度不支持。intitle，该命令返回的页面的标题标签中收录的 关键词 页面。百度和谷歌和百度都支持这个指令。allintitle，返回页面title标签同时收录多个关键字的结果页面，eg：allintitle：SEO allinurl，返回地址同时收录多个关键词的结果页面，eg：allinurl管理员登录。filetype，该命令用于搜索特定格式的文件，谷歌和百度都支持，eg：filetype:doc辣鸡，百度目前只支持pdf、doc、xls、ppt、rtf、all等格式，而谷歌支持所有格式 可索引的文件格式，包括 html、php 等网站，该命令是 seoer 最熟悉的高级搜索命令。它用于搜索某个域名下的所有文件。此命令是查询 网站收录 页面最有效和最直接的方法。但是site: 说明并不准确，尤其是在谷歌中，返回的收录页面经常波动很大，只能作为参考。链接，使用此命令搜索 url 的反向链接，包括内部链接和外部链接。