限制搜索引擎收录网页的方法有哪些?有什么方法?

优采云 发布时间: 2021-08-01 03:03

  限制搜索引擎收录网页的方法有哪些?有什么方法?

  做SEO首先要解决的问题就是让搜索引擎收录网站,因为只有页面是收录才有机会展示排名。但是,在某些情况下,不让搜索引擎收录特定网页是有益的。以下是一些限制搜索引擎收录网页的方法。

  

  一、收录的基本概念

  我们先简单描述一下在这个文章-收录中反复出现的词在SEO中起到什么样的作用。一般来说,搜索引擎机器人(bots)会根据网页之间的链接进行抓取,抓取网页后,会将有用的信息放入数据库。这个过程称为索引,也是本文的一部分。主题-收录。

  没有被收录,就不可能出现在搜索结果中,更谈不上排名。对于SEO来说,网站能不能正确收录很重要,但是收录不是简单的越多越好,如果一个网站收录垃圾内容很多,就会让搜索引擎拉低评分网站 可能会降低网站 的权重。

  二、什么样的页面不需要收录

  1)网站刚刚上线

  网站在测试或填写阶段的内容通常不完整甚至不正确。一般网站刚上线不久。如果在这个阶段被收录搜索,可能会被搜索到误解网站的内容质量不好。对SEO来说无疑是一大扣,建议尽量避免这种情况。

  2) 不能公开的内容

  很多网站收录用户信息、公司内部信息、后台环境、数据库...等,如果服务器设置不正确,不会阻止搜索引擎和收录的抓取,这些内容也是可能是收录,直接在网上发布。类似的案例过去确实发生过。

  3)不重要页面

  这就是更多网站会发生的事情,网站或多或少会收录一些不值得搜索的页面,例如:版权声明、法律条款、登录页面、结帐确认页面、用户*敏*感*词*页面……等等,当这些页面在收录页面中的比例过高时,可能会被搜索引擎误认为网站的内容为空,从而伤害网站权重。

  三、如何禁止网页被收录

  1) noindex 标签

  使用“noindex”禁止搜索引擎抓取页面,在不想被收录的网页中使用如下说明:

  使用这种方法可以有效解决不想成为收录页面的问题。也是比较推荐的一种方式,可以解决大部分问题。操作简单,即需要单页设置。如果页数较多,执行起来会比较困难,需要在后台开发单页代码插入功能。

  2)robots.txt 协议

  robots.txt 文件位于网站root 目录下,可以向搜索引擎爬虫表明您不想成为收录 的网站 内容路径。大多数情况下,不想成为收录的问题是可以解决的,但是robots.txt本身还是有一些限制的,比如不是强制指令,所以不是每个搜索引擎都会完全遵守里面的约定机器人.txt。

  3)服务器设置方案

  直接在服务器上将目录或文件设置为密码访问。例如,在使用 Apache Web 服务器时,您可以编辑 .htaccess 文件以对目录进行密码保护。这样可以保证搜索引擎不会爬行,这是最基本也是绝对有效的方式,但是这样的设置也意味着用户无法查看网页,这可能不符合网站设计的目的,所以这种方法通常只适用于敏感数据。

  

  总结:当我们使用上述方法设置和排除一些不需要收录的页面时,对SEO是有帮助的,但是在实际操作中一定要特别注意不要设置错误。如果有排名的页面被意外删除或者错误的页面收录,那么搜索引擎再次到达收录需要时间,这也会失去现有流量,所以尽量避免这种情况。情况出现了。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线