谷歌抓取网页视频教程(谷歌和百度如何提交搜索引擎，教你如何快速脱坑 )

　　谷歌抓取网页视频教程(谷歌和百度如何提交搜索引擎，教你如何快速脱坑

)

　　前言

　　看到这说明大家和我一样。他们建立了一个博客并写了一些博客文章。春风拂面的时候，自建博客以来最大的危机就出现在了毫无准备的我面前。百度+谷歌搜索不到我的博客。还没几天就装成这个样子，实在是让人受不了。于是研究了几天，想出了这个文章。教大家如何走出坑。

　　文本

　　下面将介绍谷歌和百度是如何提交搜索引擎的。有一些共同点。这里有一些解释。

　　首先确认博客是否为收录

　　在百度或谷歌上输入以下格式进行判断。如果你能找到，就说明它是收录，否则就找不到。用你的域名替换我的

　　site:tengj.top

　　我目前的搜索结果如下：

　　

　　

　　验证网站

　　两个搜索引擎条目：

　　站长平台建议站长添加主站（您的网站链接可以同时使用www和非www的网址，建议添加用户实际可以访问的网址）。添加验证后，即可证明您是该域名的拥有者，无需一一验证您的子站点，即可快速批量添加子站点，查看所有子站点数据。

　　首先，如果您的网站使用过百度统计，您可以使用统计账号登录平台，或者将站长平台绑定到百度统计账号。站长平台支持您批量导入百度统计中的站点，您无需再验证网站。

　　百度站长平台为不使用百度统计的网站提供了三种验证方式：文件验证、html标签验证、CNAME验证。

　　1.文件验证：您需要下载验证文件，上传文件到您的服务器，放在域名根目录下。

　　2.html标签验证：在网站首页html代码的标签之间添加html标签。

　　3.CNAME 验证：需要登录域名提供商或托管服务提供商的网站添加新的DNS记录。

　　验证完成后，我们会将您视为网站的所有者。为了让您的 网站 验证通过，请保留已验证的文件、html 标签或 CNAME 记录。我们会定期检查验证记录。

　　

　　不管是谷歌还是百度，都要先添加域名，然后验证网站。这里统一使用文件验证，即下载对应的html文件放在域名根目录下，同时也在博客根目录下接收源码

　　

　　然后部署到服务器，输入地址：可以访问就点击验证按钮。

　　

　　站点地图是一个文件，您可以通过它列出网站 上的网页，以便将您的网站 内容的组织结构通知Google 和其他搜索引擎。Googlebot 等搜索引擎网络爬虫会读取此文件，以便更智能地抓取您的 网站。

　　我们需要先安装，打开你的hexo博客根目录，使用下面两个命令分别安装谷歌和百度的插件

　　npm install hexo-generator-sitemap --save

npm install hexo-generator-baidu-sitemap --save

　　在博客目录的_config.yml中添加如下代码（我不需要添加）

　　# 自动生成sitemap

sitemap:

path: sitemap.xml

baidusitemap:

path: baidusitemap.xml

　　编译你的博客

　　hexo g

　　如果你发现在你博客根目录下public下生成了sitemap.xml和baidusitemap.xml，就说明成功了。

　　这时候sitemap.xml里面的内容和baidusitemap.xml是一样的，但是文章的链接都是tengj.github.io，这里我很奇怪，我的博客对应github和coding一样时间，为什么会产生？sitemap.xml对应的域名都指向github。我正在向 Google 提交 sitemap.xml。github对应的域名没问题，但是baidusitemap.xml中的域名也对应github。问题很大，因为github禁止百度爬虫。提交百度不会访问。所以我把baidusitemap.xml改成了我的个人域名，因为国内用户实际访问编码。

　　部署后单独访问

　　效果如下：

　　

　　

　　让 Google 收录 我们的博客

　　谷歌操作比较简单，就是将站点地图提交到谷歌站长工具

　　登录您的谷歌账号，添加站点验证后，选择站点，即可在爬取站点地图中看到添加/测试的站点地图，如下图：

　　

　　在谷歌上，提交一天后就可以搜索我的博客，效率很高。

　　让百度收录我们的博客

　　谷歌很容易上手，百度却觉得很难。从投到百度到写这篇博客，只能在百度上搜索到自己的一篇博客，真是不容易。

　　正常情况下，要等百度爬虫爬到你的网站，你才会成为收录。

　　但是github已经屏蔽了百度爬虫，所以我们要主动提交网站给百度。

　　这是使用百度站长平台

　　验证网站

　　上面提到的验证网站，这里直接截图

　　

　　

　　

　　网页抓取

　　以上步骤成功后，进入站点管理，找到这里爬取的页面查看详情点击进入

　　

　　我们主动提交博客文章链接

　　如何选择链接提交方式

　　1、主动推送：最快的提交方式。建议您立即通过此方式将本站产生的新链接推送给百度，以确保百度能及时收到新链接收录。

　　2、自动推送：最方便的提交方式，请将自动推送的JS代码部署在站点各页面的源码中。每次浏览部署代码的页面都会自动推送链接到百度。. 可与主动推送结合使用。

　　3、站点地图：您可以定期在站点地图中放置网站链接，然后将站点地图提交给百度。百度会定期抓取检查您提交的站点地图，并处理其中的链接，但收录的速度比主动推送要慢。

　　4、 手动提交：一次性提交链接到百度，可以使用这种方式。

　　一般来说，主动提交比手动提交好。下面是主动提交的三种方式

　　在效率方面：

　　主动推送>自动推送>站点地图

　　主动推送

　　主动推送是百度搜索快速提交数据的最快工具，供站长开发针对性开发，但也是难度最大的，估计没有代码知识的小伙伴是做不到的。

　　没关系。既然博主写了这个博客，就说明博主找到了办法。我用java写了一个post push example并将它部署到编码中。不知道能部署多久。它似乎部署在编码演示端。*敏*感*词*每天被扣除。

　　地址：戳我

　　阐明：

　　选择数据类型，默认推送数据，更新数据，删除数据。后两者一般不用

　　填写站点，这是你的域名，我的是

　　填写令牌，令牌在主动推送示例上有一个字符串。如果找不到，请按 CTRL+F 查找令牌

　　填写文章地址，填写您要提交的文章链接，每行一条记录

　　成功秘诀：

　　

　　地址错误提示：

　　

　　自动推送

　　自动推送很简单，就是在你的代码中嵌入自动推送的JS代码，当页面被访问时，页面URL会立即推送到百度

　　代码显示如下：

　　

(function(){

var bp = document.createElement('script');

bp.src = '//push.zhanzhang.baidu.com/push.js';

var s = document.getElementsByTagName("script")[0];

s.parentNode.insertBefore(bp, s);

})();

　　我把它放在\themes\jacman\layout\_partial\after_footer.ejs 中，在下面添加即可。

　　站点地图提交

　　就像站点地图提交上面提到的，直接提交就可以了。你可以从下面的图片中看到。一开始我提交了sitemap.xml，指向github。结果主域验证失败，然后切换到指向域名的baidusitemap。xml提交成功。

　　

　　最后来看看我最近的投稿

　　

　　为什么自动推送可以更快地将页面推送到百度搜索？基于自动推送的实现原理，每次查看新页面，页面URL都会自动推送到百度，无需站长聚合URL再主动推送操作。

　　推送动作由用户的浏览行为触发，节省站长手动操作的时间。

　　自动推送和链接提交有什么区别？已经使用链接提交的网站是否需要部署自动推送代码？

　　两者没有冲突，相辅相成。使用过主动推送的站点还是可以部署自动推送JS代码的，两者可以一起使用。

　　什么样的网站更适合自动推送？自动推送适用于技术能力相对较弱，由于实施方便，后续维护成本低，无法支持24小时实时主动推送程序的站长。

　　站长只需部署一次自动推送JS代码的操作，即可实现新页面一浏览就推送的效果，低成本实现链接自动提交。

　　同时我们也支持使用主动推送和自动推送代码，两者互不影响。

　　百度链接被主动推送后没有收录的原因

　　参考

　　# 博客推广——提交给搜索引擎

　　总结

　　写了3个小时，终于写完了这篇文章。很久以前就想写这篇文章了。不过百度并没有给予太多支持，也没有给予收录。所以我把它拖到了今天。为了方便，我昨天花了一些时间写了一个主动推送接口。各位，地址上有。

　　3月8日随sitemap和baidusitemap提交给谷歌和百度

　　3月9日Google的收录，可以搜索我的博客

　　3月10日百度收录

　　更多教程可以看我的嘟嘟独立博客。欢迎访问：嘟嘟独立博客

　　最近有个java公众号，里面有很多学习资源，视频，电子书，最新的开发工具都少不了。都已经在百度云盘上分享过了。请分享资源，创建一个方便学习和工作的java公众号。,开源，开源，有需要的可以关注~撒花