网站内容抓取(百度不收录原因分析——spider抓取篇（二）)

　　网站内容抓取(百度不收录原因分析——spider抓取篇（二）)

　　百度不收录的原因基本上只有几个。除了网站的内容，还有页面布局、robots设置等，首先看百度官方的解释。【官方声明】百度不网站@收录原因分析-蜘蛛抓取

　　目前百度蜘蛛抓取新链接的方式有两种。一是主动发现爬取，二是从百度站长平台的链接提交工具中获取数据。其中，通过主动推送功能“收到”的数据最受百度青睐。欢迎来到蜘蛛。对于站长来说，如果链接很久没有收录，建议尝试使用主动推送功能，尤其是新的网站，主动推送首页数据，有利于到内部页面数据的捕获。

　　所以同学们要问了，为什么我提交了数据后还是看不到网上的显示呢？涉及的因素很多。在蜘蛛捕捉这部分，影响在线呈现的因素有：

　　1、网站 禁止。别笑，有同学在给百度发数据的时候把百度蜘蛛屏蔽了，当然不能收录。

　　2、质量筛选。百度蜘蛛进入3.0后，对低质量内容的识别又上了一个新台阶，尤其是时效性内容。从爬取过程中，进行质量评估和筛选，过滤掉大量过度优化的页面。根据定期的内部数据评估，低质量网页比上一期下降了 62%。

　　3、 获取失败。爬行失败的原因有很多。有时你在办公室访问没有问题，但百度蜘蛛有问题。本站要时刻关注网站在不同时间、不同地点的稳定性。

　　4、 配额限制。虽然我们正在逐步放开主动推送的抓取额度，但是如果网站页面突然爆发式增长，还是会影响到优质链接的抓取收录，所以网站也要注意保证稳定访问网站防止黑客注入的安全性。

　　以上为百度资源平台复制的内容，源码网页链接：

　　游客，如果您想查看本帖隐藏内容，请回复

　　除了收录，可能还有以下几种情况：

　　1：网站空间服务器经常宕机，速度太慢等不稳定情况

　　搜索引擎蜘蛛类似于普通浏览IP浏览网站。如果网站本身和服务器的空间不稳定，对提高搜索引擎的友好度非常不利。选择服务器时，站长一定要选择实力强的空间提供商，切不可贪图一时的便宜而后悔。

　　2：robots文件是否使用不当

　　这种情况导致网站文章不是收录的概率很小，但还是会发生。很多时候，seo优化者或者站长会直接使用各大下载站点提供的cms建站系统。部分内容已被作者修改。机器人文件可能不适用于此 网站。默认的robots 文件可能会阻止搜索引擎抓取文章 的内容。这里有个建议：网站 上网前一定要查好相关文件。

　　3：网站历史数据正常吗？

　　为了节省网站优化时间，加快网站优化进度，很多站长会直接购买旧域名，利用旧域名的历史数据和权重来操作新的网站。大家都知道，如果旧域名有不良记录，比如被K或者长期降级，可能会影响到新网站文章收录的内容。

　　4：网站结构差

　　一般情况是网站大部分直接使用cms建站系统来做，网站结构很烂是没有问题的，但是如果重新开发程序，结果会不一样，有可能是路径太深，很多页面是“孤岛”。

　　5：直接复制粘贴大量内容页面，无内容溢出

　　搜索引擎不反对转载，甚至以采集文章等方式构建网站内容。问题是站长在这个过程中是否对文章进行了二次处理，给内容增加了阅读价值和检索价值。如果为了收录而大量转发文章，可能会被判定为作弊，导致文章被百度等搜索引擎搜索不到的问题< @收录。

　　6：文章观众太少，没有价值收录

　　许多 seo 优化器不理解这一点。受众少就意味着没有检索到文章，查询的值也会导致文章的内容不是收录。比如你的网站每天记录的是日常生活的点点滴滴。它可能对您的家人和朋友有用，但对于大量用户来说，这样的 文章 算不了什么。如果没有值，成为收录的概率也会降低。注意：如果你是名人，有搜索索引，那么你写的流水账也是有价值的，这涉及到人名、地名或专有名词的重要性。

　　7：新站无权限或处于百度评估期

　　新展几乎没有外链，外链是权威的重要组成部分。权威是网站文章能否快速收录的重要因素。如果是新成立的网站，或者新网站在百度评价期，那么网站文章的内容只会被收录，不会被收录。

　　8：网站内容涉及敏感话题

　　这导致 文章 不是 收录 的概率较低，但它也会出现。如果网站收录大量涉及国家机密的内容，也可能造成问题。

　　9：文章的内容被索引后没有及时发布

　　对于新上线的网站来说，最常见的情况是文章暂时不是收录。新站上线后，将网站url提交给搜索引擎后，虽然文章的内容还没有收录，但搜索引擎蜘蛛居然会去网站 抓取内容，只是对新站点进行评估，文章 的索引内容暂时不会发布。这个时间段是可变的，从几天到一两个月不等。这段时间文章在收录后消失是正常的，snapshot是正常的。站长朋友需要冷静对待这个结果。建议：现阶段大量优质原创或伪原创 增加内容，适当进行外链建设，吸引蜘蛛爬取网站内容。这是现阶段的一项重要任务。

　　10：网站降级导致的文章内容不受百度收录的约束。

　　新站一段时间内可能不会被百度收录，文章的内容不在旧站收录因权限降级比较常见。网站被降级或K后，搜索引擎会重新评估网站本身。在此期间，内容不是收录 是常见的。针对这个问题，我们需要修改网站，对搜索引擎不友好的因素进行一一排查纠正。