seo教程:搜索引擎优化入门与进阶(第2版)电子版(S,欢迎访问搜索引擎工作原理收录流程和应对策略介绍)

　　seo教程:搜索引擎优化入门与进阶(第2版)电子版(S,欢迎访问搜索引擎工作原理收录流程和应对策略介绍)

　　S，欢迎访问搜索引擎工作原理收录process1、Submitting url是一种被动耗时的行为。 2、 建立外部链接。外部链接的数量、质量和相关性影响进入时间，这是活跃的。 page收录方法page收录采用的策略是过滤掉互联网上比较重要的信息。如果用同样的爬取策略，在同一个站点爬取页面资源效率更高，那么你在网站上停留的时间会更长，收录的页面数自然会爱得更多。广度第一。优点：先抓取重要页面。应对策略：在较浅的页面上设计重要信息。深度第一。优点：页面需求长尾，抓取更多冷门和隐藏页面，满足更多用户需求。应对策略：重要信息放在多层次的页面上。由用户提交。优点：大大提高收录页面的效率和数量以及收录页面的质量。如何避免收录重复（页面重复、内容重复）网站中的重复信息：转载内容、镜像内容。重复信息的影响：占用硬盘，延长用户搜索时间。权重：原创>reprint>mirror（几乎完全忽略）转载页面比较多个M区分成N个区页面。如果 M>A（某个阈值），则每个都重印。通过比较最后修改时间、页面权重等因素来判断哪一个是原创。镜像页面 比较分成 N 个区域的多个页面。如果这N个区域的内容完全相同，则认为这些页面是彼此的镜像页面。判断原创 为转载。镜像网站 狭义的镜像网站是指内容完全相同的网站。

　　形成原因：1、多个域名或IP指向同一台服务器上的同一个物理目录； 2、整个网站内容被复制到使用不同域名或IP的服务器。识别出源网站就是判断这些网站的主页与主页直接链接的页面是否互为镜像页面。然后综合多个因素（如网站weight值、建立时间等）进行识别。镜像网站只收录很少的页面，甚至没有收录页面。页面维护的方式是让搜索引擎适应网站的不断变化和缺失的条目。定期抓取定期维护所有收录 页面。页面权重的重新分配也是与页面维护同步进行的。适合页面少、内容更新慢的网站。缺点：由于维护周期长，无法及时向用户反映更新过程中页面的变化。增量爬取 定期监控爬取的页面，实现页面的更新和维护。 （不现实）基于80/20规则，搜索引擎只对网站一些重要页面进行定期监控，你可以在网站中获取相对重要的信息。优点：重要页面内容更新会及时发现新内容、新链接，删除不存在的信息。分类和位置抓取根据页面的类别或性质，制定相应更新周期的页面监控方法。新闻信息周期比资源下载周期短。大型门户网站的内容更新速度比小型门户快。优点：大大提高了页面抓取的灵活性和实时性。补充：结合各种爬取方式来爬取页面。页面存储搜索引擎在抓取页面的过程中能否获取到更有价值的信息，将直接影响到搜索引擎的效率和排名结果的质量。

　　所以搜索引擎除了存储原创页面外，还会附加一系列信息（如文件类型、文件大小、最后修改时间、rul、ip地址、抓取​​时间等），然后使用这些作为工作基础。网页分析 对原创页面进行一系列的分析和处理，以迎合用户查询信息的习惯。建立关键字索引和反向索引，并分配权重。为了提高页面检索的效率，网页索引建立了对页面url的索引。网页分析文本信息提取过滤非文本信息（HTML标签、JS标签、PHP标签）。分词/分词将过滤后的文本内容（此行为为分词/分词），形成符合用户查询条件的基于关键字的信息列表。分词算法：1、string 匹配切分2、statistic 切分。 3、关键字索引。记录关键字所在的页码、关键字编号、关键字出现的次数、关键字在文档中的位置信息。 4、关键字重组。使用与多个网页对应的关键字创建定向索引。页面排序页面相关性关键词匹配度缺点：容易被网站站长操纵。还需要结合关键词密度、关键词分布、关键词权重标签来确定。关键字密度 关键字密度是关键字出现的频率与网页总字量的比值。不同的密度对应不同的密度值。关键字分布根据关键字位置对应不同的分布值。关键词权重标签链接权重入度和出度，及其权重分布。内链和外链默认权重分配用户行为点击率关键词查询过程用户行为搜索。计算词汇流行度并发现新词汇。点击缓存机制。缓存前 20% 的查询最多的关键字。