网站内容抓取(网站不收录常规分析思路及分析方法汇总！(一))

　　网站内容抓取(网站不收录常规分析思路及分析方法汇总！(一))

　　一、网站不收录

　　首先确定是刚上线1-3个月的新网站，还是上线半年多的老网站！

　　如果是新网站：

　　首页收录时间上线后1周内，大量内部记录收录，收录被搜索捕获所需时间，需要10-20天。 网站如果有很多空白页，很多页面内容很小，这种情况下对应的页面不是收录，否则收录会很慢。如果网站20天，首页就没有收录，网站域名可能被搜索引擎黑了。您可以使用搜索 #1 提出投诉

　　老的网站不收录，内页新增的页面大部分都没有搜到，大部分是页面质量问题。

　　二、网站不收录常规分析思路

　　1、网站 的服务器必须稳定。在百度资源网站的管理信息中，抓取异常，查看服务器的稳定性。

　　2、检查robots.txt文件是否允许爬取。例如：网站homepage，以及每列的页面是否被阻止抓取。

　　3、检查网站每个页面路径是否良好。比如不利于接很多电话查号，site:网站check 是否有动静态共存路径

　　4、重要页面不能用JS标签写。如：首页导航、版块样式、各版块页面块模型、内部页面版块不能写在JS标签中，不知道代码的用户可以使用谷歌浏览器，设置为不允许javascript爬取，查看效果后刷新页面，JS部分无法显示，显示效果

　　5、 页面稳定，质量好。 网站页面版块链接合理，内容质量好，页面变化不频繁，来自采集的内容不多，无用户搜索需求。

　　三、如果以上没有问题，分析一下人为变化因素

　　分析近三个月的手动变化，内页内容不是大量采集。 SEO研究中心青田老师提醒大家，比如大量删除页面、修改页面标题、频繁更改程序和网站模块、网站被搜索引擎降级等，导致很多内部页面内容不是收录。内容的大量改动以及在内容中放置大量广告链接弹窗会导致新页面被收录。

　　四、如何加速网站收录？

　　1、主动推送链接：更新站点地图，提交给搜索引擎，在百度资源网站中验证，安装自动推送代码，添加页面爬取收录。

　　2、做好网站内容丰富度优化：注意长尾关键词排名布局，多做用户会搜索的内容，文章图文合茂，内容不应该500字以内，图片3张左右，图片可以给用户思考，图片要加上ATL关键词，让搜索引擎知道图片是什么意思，内容要收录关键词用户会搜索的话题.

　　3、引导百度蜘蛛爬取：去网站和百度蜘蛛活跃度高的论坛，获取一些导航网站链接，换几个优质好友链接，加速网站猎取收录.

　　4、关注搜索反馈：如果长时间没有收录，可以向搜索引擎投诉反馈。如本文图1所示

　　5、开放熊掌号：熊掌账号对优质内容有原创保护，优质原创内容在收录和呈现上给予优惠

　　6、Link 传播分享：从营销角度增加品牌搜索量。培养用户忠诚度，增加用户对网站的采集，分享文章链接，频繁互动和回访。这些操作将有助于提高搜索抓取频率，推动页面更新，并提高网站总收录。