搜索蜘蛛访问你站点时首先检测并访问的文件介绍

　　搜索蜘蛛访问你站点时首先检测并访问的文件介绍

　　机器人

　　它是搜索蜘蛛在访问您的网站时首先检测并访问的文件。我们可以通过这个文件来判断

　　搜索引擎

　　那些

　　内容

　　可以使用

　　抢收录

　　那些是不允许的

　　收录

　　搜索引擎优化器。当然不是所有网站的

　　机器人

　　设置完全一样，根据不同的网站程序设置

　　内容

　　也会有所不同，但如果使用相同的建站程序，关键词排名基本相同。这里我们主要介绍WordPress

　　机器人

　　协议中如何设置新旧网络。

　　robots 协议的创建也很简单，只需要在本地创建一个记事本“.txt”文件，然后重命名为“robots.txt”，将robots协议保存在里面，最后保存“robots” .txt”上传到网站根目录进行seo排名训练。这里文章介绍了WordPress机器人协议的三个级别，分别是简单、中等、严格广安seo。请根据您的需要选择。

　　一、最简单的配置方法：

　　User-agent: * Disallow:

/wp- Disallow: /?s=

Sitemap: https://www.seoqe.com/sitemap.xml

　　说明：“User-agent:*”是指允许所有搜索引擎访问； “禁止：/wp-”是以搜索引擎收录“wp-”开头的目录。 "" 指的是你的网站map。

　　二、比较温和的配置方法：

　　 User-agent: * Disallow: /wp-admin

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-includes

Disallow: /?s=

Sitemap: https://www.seoqe.com/sitemap.xml

　　这种写法也允许所有搜索引擎访问和抓取，并且只限制搜索引擎抓取“/wp-admin”、“/wp-content/plugins”、“/wp-content/themes”、“/ wp “-includes”目录并不是第一种直接限制以“wp-”开头的目录的方法。

　　三、最严格的配置方法：

　　 User-agent: * Disallow: /wp-*

Disallow: /*.php$ Disallow: /*.inc$

Disallow: /*.js$ Disallow: /*.css$

Disallow: /?s=

Sitemap: https://www.seoqe.com/sitemap.xml

　　这种方法是最严格的。除了禁止搜索引擎爬取以“wp-”开头的目录外，还禁止爬取.php、.inc、.js、.css文件。

　　以上三种写法适用于所有WordPress网站。您可以选择上面的一段代码保存到“robots.txt”中，然后上传到站点的根目录。下面是另一种只适合设置全站伪静态的方法，本站也使用：

　　 User-agent: * Disallow: /wp-admin

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-includes

Disallow: /?s=

Disallow: /page/

Disallow: /category/*/page/*

Disallow: /tag/

Disallow: */trackback/

Disallow: /category/*

Sitemap: https://www.seoqe.com/sitemap.xml

　　说明：“Disallow: /page/”限制爬取WordPress分页； "Disallow: /categorytrackback/" 限制抓取 Trackback 内容； "Disallow: /category/*" 限制抓取所有类别列表。