博客搜索引擎优化教程(此篇教程写给想个性化WordPress主题又苦于不知如何入手而到处求人)

　　博客搜索引擎优化教程(此篇教程写给想个性化WordPress主题又苦于不知如何入手而到处求人)

　　本教程是为想要个性化 WordPress 主题但不知道如何开始并寻求帮助的孩子编写的。

　　Robots协议（也叫爬虫协议、机器人协议等）的全称是“Robots Exclusion Protocol”。网站 通过Robots协议告诉搜索引擎哪些页面可以爬取，哪些页面不能爬取。

　　2核2G新用户仅需86元/年即可获得1153套模板免费CDN流量包￥3188礼包

　　搜索引擎机器人访问网站时，首先会在站点根目录中寻找robots.txt文件。如果有这个文件，它会根据文件的内容来确定收录的范围。如果没有，按照默认访问和收录所有页面。另外，当搜索蜘蛛发现没有robots.txt文件时，会在服务器上生成404错误日志，从而增加服务器的负担，所以添加robots.txt文件还是很重要的网站。

　　了解了Robots协议的作用之后，我们再来说说如何在WordPress站点中编写robots.txt文件。

　　默认情况下，WordPress站点在浏览器中输入：您的域名/robots.txt，会显示如下内容：

　　User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

　　这是由 WordPress 自动生成的，意思是告诉搜索引擎不要抓取守护程序文件。

　　但这还远远不够。一个比较完整的WordPress站点robots.txt文件内容如下：

　　User-agent: *

Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

Disallow: /*/comment-page-*

Disallow: /*replytocom=*

Disallow: /category/*/page/

Disallow: /tag/*/page/

Disallow: /*/trackback

Disallow: /feed

Disallow: /*/feed

Disallow: /comments/feed

Disallow: /s=*

Disallow: /*/s=*\

Disallow: /attachment/

　　使用方法：新建一个名为robots.txt的文本文件，将上述内容放入其中，上传到网站的根目录。

　　每个项目的功能解释如下：

　　1、禁止：/wp-admin/，禁止：/wp-content/，禁止：/wp-includes/

　　用于告诉搜索引擎不要抓取后台程序文件页面。

　　2、禁止：/*/comment-page-* 和禁止：/*replytocom=*

　　禁止搜索引擎抓取评论分页等相关链接。

　　3、禁止：/category/*/page/ 和禁止：/tag/*/page/

　　禁止搜索引擎抓取收录 类别和标签页。

　　4、禁止：/*/trackback

　　禁止搜索引擎抓取收录 trackback等垃圾邮件

　　5、禁止：/feed，禁止：/*/feed，禁止：/comments/feed

　　禁止搜索引擎抓取 收录 提要链接。该提要仅用于订阅本站，与搜索引擎无关。

　　6、禁止：/s=*和禁止：/*/s=*\

　　禁止搜索引擎抓取网站搜索结果

　　7、禁止：/附件/

　　禁止搜索引擎抓取附件页面，如无意义的图片附件页面。

　　以上只是一些基本的写法，当然还有很多，但已经足够了。

　　您可能对这些 文章 感兴趣：