搜索引擎禁止的方式优化网站(做SEO要处理的第一个问题，就是让搜索引擎收录网站)
优采云 发布时间: 2022-01-29 21:21搜索引擎禁止的方式优化网站(做SEO要处理的第一个问题，就是让搜索引擎收录网站)
SEO首先要解决的问题是让搜索引擎收录网站，因为只有收录的页面才有机会排名和展示。然而，在某些情况下，不允许搜索引擎 收录 特定页面可能是有益的。以下是限制搜索引擎收录 页面的方法。
一、收录基本概念
我们先简单介绍一下这个文章–收录中重复出现的词在SEO中的作用。一般来说，搜索引擎机器人（bots）会根据网页之间的链接进行爬取，爬取网页后将有用的信息放入数据库中。这个过程称为索引，也是本文的主题。主题 - 收录。
如果没有 收录，就不可能出现在搜索结果中，更不用说排名了。对于SEO来说，网站正确收录很重要，但是收录并不是简单的越多越好，如果一个网站收录很多垃圾邮件，但它会使搜索引擎降低 网站 的分数，这可能会降低 网站 的权重。
二、什么样的页面不需要收录
1) 刚刚上线网站
网站 处于测试或填充阶段的内容通常不完整甚至不正确。一般情况下，网站 是刚推出不久。如果在这个阶段被搜索引擎收录搜索，可能会让搜索引擎误认为网站的内容质量很差。对SEO来说无疑是一大扣，建议避免出现这种情况。
2) 不能公开的内容
很多网站收录用户数据、公司内部数据、后台环境、数据库等，如果服务器设置不正确，并不会屏蔽搜索引擎和收录的爬取，这些内容就是也有可能会被收录直接暴露在网络上，过去也确实发生过类似的情况。
3) 不重要的页面
更多网站、网站会收录更多或更少没有搜索价值的页面，例如：版权声明、法律条款、登录页面、结帐确认页面、*敏*感*词*页面……等等，当这些页面在收录页面中的比例过高时，可能会被搜索引擎误解为网站的内容为空，从而伤害了网站的权重.
三、阻止页面成为收录的方法
1) 无索引标签
使用“noindex”来阻止搜索引擎抓取页面，并在您不想成为 收录 的页面上使用以下指令：
使用这种方法可以有效解决不想成为收录的页面。也是比较推荐的方法，可以解决大部分问题，操作简单，但是需要单页设置。如果页面数量很大，执行起来会很困难，需要在后台开发单页代码插入功能。
2) robots.txt 协议
robots.txt 文件位于 网站 根目录中，可以向搜索引擎爬虫表明您不希望被 收录 的 网站 内容路径阻止。大多数情况下不想成为收录的问题是可以解决的，但是robots.txt本身还是有一些限制的，比如不是强制指令，所以不是每个搜索引擎都会完全遵守内容robots.txt 协议。
3) 服务器设置解决方案
<p>直接在服务器上设置密码访问的目录或文件。例如，当使用 Apache Web 服务器时，您可以编辑 .htaccess 文件以使目录受密码保护。这样可以保证搜索引擎不会抓取，这是最基本也是绝对有效的方式，但是这样设置也意味着用户无法查看网页，可能不符合
