网页爬虫抓取百度图片(百度只收录了一个首页是什么原因,怎么办抓取策略)
优采云 发布时间: 2021-11-02 23:20网页爬虫抓取百度图片(百度只收录了一个首页是什么原因,怎么办抓取策略)
不管是新站还是老站,百度只有收录首页的问题,很多SEO从业者都遇到过这个问题,上一篇文章《百度只有收录一个是什么原因主页以及怎么做?”纯经验谈,从四个方面讲述了百度只有收录一个主页的常见原因。本文将帮助您从搜索引擎抓取策略的层面分析可能的原因。
这里我们需要了解搜索引擎爬虫的两种爬取策略:
1、搜索引擎深度优先爬取策略
2、搜索引擎广度优先爬取策略
为了让大家更容易理解这两种策略,我举个例子。如果是深度优先的爬取策略,搜索引擎爬虫的爬取路径为:
这时候搜索引擎抓取的顺序是:首页、1、页A、G页、B页、2、页C、D页
一个简单的句子就是:通往黑暗的一种方式
如果是广度优先的爬取策略,搜索引擎爬虫的爬取路径为:
此时搜索引擎抓取的顺序为:首页、栏目1、栏目2、栏目3、网页A、网页B、网页C、网页D
一个简单的句子就是:螃蟹走路
搜索引擎实际上针对不同的网站采取了不同的爬取策略。对于新站点或低权重的网站,一般采用广度优先的爬取策略。
所以,对于一个新站点,一般是第一个收录首页,然后是收录栏目页,最后是内容页。其实发生这种情况后,不用担心,只要你的文章质量好,你迟早会收录的。
总结:百度只有收录一个主页的原因有很多。以上内容只是一些小细节,仅供参考!