做SEO要处里的第一个问题，如何限制搜索引擎收录网站

做SEO要处里的第一个问题，如何限制搜索引擎收录网站

　　做SEO的第一个问题就是让搜索引擎收录网站。很多时候我们担心搜索引擎无法正确抓取网站，例如：使用javascript、flash...等技术，会不会导致收录造成困难，导致没有机会竞争排名.

　　但实际上，在某些情况下，不让搜索引擎收录webpage 是有益的。下面分别介绍什么时候限制搜索引擎收录网站以及怎么做。此外，这样做对 SEO 有什么好处。

　　收录基本概念：

　　一开始，我们简单描述一下在这个文章中反复出现的收录在SEO中的作用。一般来说，搜索引擎机器人（google bot）根据网页之间的链接移动来抓取整个网络。这个过程称为爬行。抓取网页数据后，会将有用的数据放入数据库。 , 这个过程叫做索引，也是本文的主题-收录。

　　没有被收录，就不可能出现在搜索结果中，更谈不上排名。对于SEO来说，网站能不能正确收录很重要，但收录不是简单的越多越好。如果一个网站收录有很多对搜索结果没有帮助的网页，相反，搜索引擎认为网站的内容是空的，这可能会降低网站的权重。所以排除这些不重要的页面也是 SEO 的一个有用方向。

　　补充：有人认为网站没有外链进入，也没有提交到搜索引擎，不会是收录，这是不对的！以谷歌目前的技术来看，这个网站还是有很高的概率收录，尤其是网站使用比较主流的cms系统（例如：wordpress），在构建过程中被收录的可能性很大周期很高是的，过早的收录实际上会给后续的SEO优化带来问题。建议您一定要进行正确的设置，以免后续麻烦。

　　不需要收录的情况：

　　什么时候最好不要被收录搜索？以下是几种常见情况：

　　网站未完成，正在测试：

　　未完成页面中的数据通常不完整甚至不正确。如果在这个阶段被搜索引擎收录搜索，可能会造成两个弊端：一、让用户感到困惑。 二、让搜索引擎误认为网站拥有的内容质量不好。

　　而如果网站在测试中被创建，被收录创建，很可能会导致官方网站的内容日后与测试空间重复。如果处理不好，可能会被搜索引擎视为重复内容。甚至抄袭。对SEO来说，无疑是一大扣。建议避免这种情况。

　　私人数据，您不想公开的内容：

　　很多网站收录用户数据、公司内部数据、后台环境、数据库...等，如果服务器设置不正确，不会停止搜索引擎和收录的抓取。这些内容也有可能被收录直接在网上公开。类似的案例过去确实发生过。

　　收录 在这些数据上面临的问题可能不仅仅是 SEO。如果涉及敏感合同、合同……等，也可能有法律责任。

　　不重要的页面

　　另外，用wordpress构建的网站除了上述情况外还会有更多不重要的页面，因为wordpress在默认上传图片文件或附件时会自动生成一个。页面（例如：） 上传文档时会自动生成此页面。由于这种机制，WordPress构建的网站默认会生成大量冗余页面。如果没有相关的处理，可能会伤害到SEO。要解决这个问题，可以使用一个简单的 wordpress 插件：

　　如何判断网站是否为收录冗余页面？

　　我们已经知道在什么情况下可能需要排除收录网页，顺便说一下，这里是如何找出是否有收录奇怪的网页：

　　1. 按站点搜索：

　　site 是搜索引擎中的高端命令。在google搜索框中输入：site:你要查找的域名，可以找到google收录的部分网址，这里的搜索结果中很容易找到见收录的额外页面。

　　2.在搜索控制台查看收录的数量与实际页面对比：

　　搜索控制台是查看google收录最准确数量的工具，查看里面的google索引>索引状态可以找到google收录的数量，将这个数量与@k14中的实际有效页面进行比较@，你也可以看看google里面收录是不是太多了。

　　如何排除收录：

　　我们已经知道需要什么条件来排除这些页面，让我们看看怎么做：

　　使用 robots.txt 文档：

　　robots.txt 文件位于网站root 目录下，可以向搜索引擎爬虫表明您不希望爬虫访问的网站 内容。大多数情况下，不想成为收录的问题是可以解决的，但是robots.txt本身还是有一些限制的。 robots.txt 中有一些指示可能会在以下几种情况下失败：

　　一个。 robots.txt 不是强制性指令，因此并非每个搜索引擎都会完全遵守 robots.txt 中的指令

　　B.不同的引擎对robots.txt的解释可能不同，导致没有文件生效。

　　c.对于谷歌来说，如果有足够多的外部链接指向该网页，即使在robots.txt中被禁止，该网页也可能是收录。

　　优点：robots.txt设置简单，可以一次性解决同一个频道下的所有页面，大多数情况下都能解决问题。

　　缺点：在某些情况下不会生效，而且由于设置是针对所有文件夹的，如果设置错误，可能会导致所有网站收录出现问题，影响旧排名。

　　服务器设置的解决方法：

　　优点：基本可以隐藏不想被发现的内容。

　　缺点：隐藏的内容一般用户无法浏览。

　　使用网站Administrator 平台设置：

　　有些网站管理员有这个设置，可以用来对他们的搜索引擎做一个声明，例如：谷歌的搜索控制台有这个设置（去掉网址），但是使用这种方法的弊端也很明显，即只对单个搜索引擎有效，对其他搜索引擎无效。

　　优点：设置简单，无需代码

　　缺点：只能针对单个搜索引擎，去除不彻底。同时，不同的网站Administrator 平台可能对该命令有不同的用途，可能达不到我们希望的 SEO 目标。

　　（删除在搜索控制台中设置的网址）

　　最终总结：

　　当我们使用上述方法设置和排除一些不需要为收录的网站，提高搜索引擎收录的页面质量时，对SEO是有帮助的，但在实际操作中，一定要特别注意不要设置错误。如果不小心或者在页面上出错，把原本有重要排名的页面去掉收录，对网站的SEO来说是致命的！所以一定要非常确定在操作过程中会受到影响的页面。