谷歌抓取网页视频教程(谷歌和百度如何提交搜索引擎，教你如何快速脱坑)

　　谷歌抓取网页视频教程(谷歌和百度如何提交搜索引擎，教你如何快速脱坑)

　　前言

　　能看到这说明大家都和我一样。我已经建立了一个博客并写了一些博客文章。当我对春风感觉良好时，我建博客以来最大的危机已经出现在没有准备的我面前。百度+谷歌连我的博客都找不到。几天都装成这样，真是受不了了。于是我研究了几天，摆弄着这个文章。教你如何出坑。

　　文本

　　下面分别介绍谷歌和百度是如何提交搜索引擎的。有一些共同点，这里先解释一下。

　　首先检查博客是否为 收录

　　在百度或谷歌上输入以下格式判断，如果能搜到，说明是收录，否则不是，把我的换成你的域名

　　site:tengj.top

　　我目前的搜索结果如下：

　　

　　

　　验证网站

　　两个搜索引擎条目：

　　站长平台推荐站长添加主站（你的网站链接可以同时使用www和非www的url，建议添加用户实际可以访问的url）。添加并验证后，可以证明您是域名的所有者，可以快速批量添加子站点，查看所有子站点数据，无需对您的子站点一一进行验证。

　　首先，如果你的网站使用过百度统计，可以使用统计账号登录平台，或者绑定站长平台和百度统计账号。站长平台支持批量导入百度统计中的站点，无需再次验证网站。

　　百度站长平台为不使用百度统计的网站提供三种验证方式：文件验证、html标签验证、CNAME验证。

　　1.文件验证：需要下载验证文件，上传文件到你的服务器，放在域名根目录下。

　　2.html标签验证：在网站首页html代码的标签和标签之间添加html标签。

　　3.CNAME 验证：您需要登录到您的域提供商或托管服务提供商的 网站 以添加新的 DNS 记录。

　　一旦验证，我们将认为您是 网站 的所有者。为了使您的网站保持验证，请保留验证文件、html标签或CNAME记录，我们会定期检查验证记录。

　　

　　无论谷歌还是百度，都必须先添加域名，然后验证网站。这里统一使用文件校验，即下载对应的html文件，放到域名根目录下，博客根目录下source下也接收。

　　

　　然后部署到服务器，输入地址：如果可以访问，可以点击验证按钮。

　　

　　站点地图是一个文件，可让您在 网站 上列出页面，从而告诉 Google 和其他搜索引擎您的 网站 内容是如何组织的。Googlebot 等搜索引擎网络爬虫会读取此文件以更智能地爬取您的 网站。

　　我们要先安装好，打开你的hexo博客根目录，使用下面两条命令分别安装谷歌和百度的插件

　　npm install hexo-generator-sitemap --save

npm install hexo-generator-baidu-sitemap --save

　　将以下代码添加到博客目录的_config.yml中（我可以不用它）

　　# 自动生成sitemap

sitemap:

path: sitemap.xml

baidusitemap:

path: baidusitemap.xml

　　编译你的博客

　　hexo g

　　如果你发现你的博客根目录下public下生成了sitemap.xml和baidusitemap.xml，那就说明成功了。

　　此时sitemap.xml和baidusitemap.xml一样，但是文章链接都是来自tengj.github.io。我在这里感到非常惊讶。我的博客对应github和coding。为什么会生成？sitemap.xml对应的域名都指向github。我想将 sitemap.xml 提交给 Google。github对应的域名没有问题，但是问题是baidusitemap.xml中的域名也对应github，因为github禁止百度爬虫。提交百度不会访问。所以我把baidusitemap.xml里面的内容改成了我的个人域名，因为国内用户实际访问编码。

　　部署后你单独访问

　　效果如下：

　　

　　

　　让 Google 收录我们的博客

　　谷歌的操作比较简单，就是向谷歌站长工具提交站点地图

　　登录谷歌账号，添加站点并通过验证，选择站点，然后就可以在Crawl-Sitemap中看到添加/测试站点地图，如下图：

　　

　　提交后一天之内google就可以搜索到我的博客，效率很高。

　　让百度收录我们的博客

　　谷歌好办，百度难。从投稿到百度，到写这篇博客，我只能在百度上搜索自己的一篇博客，真的很不容易。

　　通常，您必须等待百度爬虫爬到您的网站，然后才能被收录 调用。

　　但是github已经屏蔽了百度爬虫，所以我们只好主动提交网站给百度。

　　这是使用百度站长平台

　　### 验证 网站

　　验证上面已经提到过网站，这里直接截图

　　

　　

　　

　　网页抓取

　　以上步骤成功后，进入站点管理，找到网页抓取的详细信息并点击

　　

　　我们主动提交博客文章链接

　　如何选择链接提交方式

　　1、主动推送：最快的提交方式。建议您立即通过此方式将本站新链接推送至百度，以确保新链接能够被百度收录及时发布。

　　2、自动推送：最方便的提交方式，请在本站每个页面的源码中部署自动推送的JS代码，每次部署代码的页面都会自动推送链接到百度被浏览。可以与主动推送一起使用。

　　3、sitemap：可以定期将网站链接放入sitemap，然后将sitemap提交给百度。百度会定期爬取检查你提交的站点地图，并处理里面的链接，但是收录速度比主动推送慢。

　　4、手动提交：一次性提交链接到百度，可以使用这种方式。

　　一般来说，主动提交优于手动提交。下面介绍三种主动提交的方法。

　　在效率方面：

　　主动推送 > 自动推送 > 站点地图

　　主动推送

　　主动推送是百度搜索快速提交数据供站长进行针对性开发的最快工具，但也是难度最大的，估计没有编码能力的小伙伴不会。

　　没关系，既然博主写了这篇博文，就说明博主找到了办法。我用 java 写了一个 post push 示例并将其部署到编码中。不知道能部署多久。它似乎部署在编码演示上。每天都会扣除金币。

　　地址：戳我

　　阐明：

　　选择数据类型，默认推送数据，同时更新数据和删除数据。最后2个一般不用

　　填写站点，这是你的域名，我的是

　　填写token，在主动推送示例中有一串token。如果实在找不到，按CTRL+F找token

　　填写文章地址，填写你要提交的文章链接，每行一条记录

　　成功秘诀：

　　

　　地址错误信息：

　　

　　自动推送

　　自动推送很简单，就是在你的代码中嵌入自动推送JS代码，当页面被访问时，页面URL会立即推送到百度

　　代码显示如下：

　　

(function(){

var bp = document.createElement('script');

bp.src = '//push.zhanzhang.baidu.com/push.js';

var s = document.getElementsByTagName("script")[0];

s.parentNode.insertBefore(bp, s);

})();

　　我把它放在\themes\jacman\layout\_partial\after_footer.ejs 中，在下面添加即可。

　　站点地图提交

　　正如在站点地图提交顶部提到的，直接提交即可。你可以从下面的图片中看到。一开始我提交了sitemap.xml，它指向了github。结果主域验证失败，然后我切换到baidusitemap指向域名。xml提交成功。

　　

　　最后，让我们看看我的最新投稿

　　

　　为什么自动推送推送页面到百度搜索可以更快？基于自动推送的实现原理，每次浏览新页面时，页面URL都会自动推送到百度，无需站长聚合URL再进行主动推送操作。

　　推送动作由用户的浏览行为触发，节省站长手动操作的时间。

　　自动推送和链接提交有什么区别？网站已经使用链接提交，还需要部署自动推送代码吗？

　　两者不冲突，相得益彰。已经使用主动推送的站点仍然可以部署自动推送的JS代码，两者可以一起使用。

　　什么样的网站更适合使用自动推送？由于实现方便，维护成本低，自动推送适用于技术能力相对较弱，无法支持全天候实时主动推送方案的站长。

　　站长只需要部署一次自动推送JS代码的操作，新的页面一看到就可以推送，链接自动提交，成本低。

　　同时我们也支持使用主动推送和自动推送代码，两者互不影响。

　　百度链接提交主动推送后没有收录的原因

　　参考

　　# 博客推广 - 提交给搜索引擎

　　总结

　　写了3个小时，终于写完了。想写这个很久了，但是百度不够好，一直没有给收录，所以拖到今天，昨天抽了点时间写一下主动的方便推送界面。大家，地址在上面。

　　3月8日，使用sitemap和baidusitemap分别提交给谷歌和百度

　　谷歌3月9日的收录，可以搜索我的博客

　　3月10日百度收录

　　更多教程可以看我的嘟嘟独立博客欢迎访问：嘟嘟独立博客

　　最近创建了一个java公众号。有许多学习资源，包括视频、电子书和最新的开发工具。已全部分享到百度云盘，寻求资源共享，创建一个方便学习和工作的java公众号。，开源开源，有需要的可以关注~撒花

　　

　　原文链接：【转载博客地址】()