网页抓取qq(SEO优化：常用的指令指令整合、禁止搜索引擎的精确控制)

　　网页抓取qq(SEO优化：常用的指令指令整合、禁止搜索引擎的精确控制)

　　介绍

　　在做SEO的时候，很多时候我们都希望对页面进行准确的控制。Robots.txt 不能完全满足我们的需求。这时候我们就可以利用html的meta标签来精准的控制搜索引擎了。下面文章比较长，锐叔为大家综合了常用命令！

　　命令集成：禁止搜索引擎创建快照

　　百度不缓存快照（禁止百度快照）：

　　所有搜索引擎，抓取本页，抓取链接，禁止快照：

　　所有搜索引擎，没有快照

　　上面的一段代码限制所有搜索引擎创建您的网页快照。需要注意的是，这样的标记只是禁止搜索引擎为你的网站创建快照。如果您想禁止搜索引擎将您的页面编入索引 对于该页面，请参考以下方法。

　　禁止搜索引擎抓取此页面

　　为了防止搜索引擎抓取这个页面，我们一般的做法是在页面的meta标签中添加如下代码：

　　这里的meta name="robots"泛指所有搜索引擎，这里也可以指特定的搜索引擎。

　　例如，元名称="Googlebot"、元名称="Baiduspide"等。

　　内容部分有四个命令：index、noindex、follow和nofollow。命令用英文“,”分隔。

　　根据上面的命令，我们有以下四种组合

　　：可以抓取本页，而且可以顺着本页继续索引别的链接

：不许抓取本页，但是可以顺着本页抓取索引别的链接

：可以抓取本页，但是不许顺着本页抓取索引别的链接

：不许抓取本页，也不许顺着本页抓取索引别的链接

　　这里需要注意的是，两个对立的反义词不能写在一起，例如

　　或者同时写两个句子

　　这是一个简单的写法，如果是

　　的形式，可以写成：

　　如果

　　的形式，可以写成：

　　当然，我们也可以将禁止创建快照和搜索引擎的命令写入命令​​元标记中。从上面文章，我们知道禁止创建网页快照的命令是noarchive，那么我们可以写成如下形式：

　　如果是针对单个不允许创建快照的搜索引擎，比如百度，我们可以这样写：

　　如果没有在meta标签中写关于蜘蛛的命令，那么默认命令如下

　　因此，如果我们对这部分不确定，我们可以直接写上面这行命令，或者留空。

　　在SEO中，对蜘蛛的控制是内容中非常重要的一部分，希望大家能够准确把握这部分内容。

　　原文链接：未经许可禁止转载。