网页爬虫抓取百度图片(GitHub如何让百度爬虫收录我的个人博客？(组图))

　　网页爬虫抓取百度图片(GitHub如何让百度爬虫收录我的个人博客？(组图))

　　不得不说，虽然现在大家都在骂百度，但百度依然稳坐中文搜索榜首。想要获得中文搜索的流量，百度的入口是不可忽视的。

　　GitHub Pages 个人博客

　　自推出以来，Github Pages 迅速成为程序员构建静态个人博客的最佳选择。人们喜欢它的原因有很多，例如

　　更不用说 Git 的固有优势，例如版本跟踪和多人协作。2013 年，我还使用 Jekyll 在 GitHub Pages 上开始了我的第一个博客。

　　百度爬虫被拒绝访问

　　但是在2015年，由于一些无法详述的原因，Github开始拒绝访问百度的爬虫，直接返回403。

　　官方给出的原因是百度爬虫爬得太厉害，影响了Github Page服务的正常使用。这导致了任何建立在 Github Page 上的个人博客都不能被百度收录 使用。

　　去年年底从佛罗里达州回来后，我开始写中文游记。到目前为止，谷歌收录非常及时和全面，SEO效果也很好。但如果只有外国的中国读者能搜索到这些文章，那么中国最大的中国读者群体就会被忽视，再好的内容分享不了也没用。

　　于是，我开始琢磨如何让百度爬虫收录成为我的个人博客。

　　继续阅读：解决百度爬虫爬不上Github Pages个人博客的问题