网页爬虫抓取百度图片(百度只收录了一个首页是什么原因,怎么办抓取策略)

优采云 发布时间: 2021-11-02 23:20

  网页爬虫抓取百度图片(百度只收录了一个首页是什么原因,怎么办抓取策略)

  不管是新站还是老站,百度只有收录首页的问题,很多SEO从业者都遇到过这个问题,上一篇文章《百度只有收录一个是什么原因主页以及怎么做?”纯经验谈,从四个方面讲述了百度只有收录一个主页的常见原因。本文将帮助您从搜索引擎抓取策略的层面分析可能的原因。

  这里我们需要了解搜索引擎爬虫的两种爬取策略:

  1、搜索引擎深度优先爬取策略

  2、搜索引擎广度优先爬取策略

  为了让大家更容易理解这两种策略,我举个例子。如果是深度优先的爬取策略,搜索引擎爬虫的爬取路径为:

  这时候搜索引擎抓取的顺序是:首页、1、页A、G页、B页、2、页C、D页

  一个简单的句子就是:通往黑暗的一种方式

  如果是广度优先的爬取策略,搜索引擎爬虫的爬取路径为:

  此时搜索引擎抓取的顺序为:首页、栏目1、栏目2、栏目3、网页A、网页B、网页C、网页D

  一个简单的句子就是:螃蟹走路

  搜索引擎实际上针对不同的网站采取了不同的爬取策略。对于新站点或低权重的网站,一般采用广度优先的爬取策略。

  所以,对于一个新站点,一般是第一个收录首页,然后是收录栏目页,最后是内容页。其实发生这种情况后,不用担心,只要你的文章质量好,你迟早会收录的。

  总结:百度只有收录一个主页的原因有很多。以上内容只是一些小细节,仅供参考!

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线