搜索引擎优化原理(网站优化总结网站抓取和索引知识干货页面不应该具有一般用途)

　　搜索引擎优化原理(网站优化总结网站抓取和索引知识干货页面不应该具有一般用途)

　　[SEO]网站爬取和索引是如何工作的浏览：/2019-04-09

　　网站优化总结网站爬取索引知识干货

　　页面不应该是通用的：在这个例子中，对于一个特定的网站，搜索引擎抓取该网站的长度是固定的，所以我们应该把抓取时间放在页面的核心。

　　这对于一些大的网站来说尤其重要，因为这个网站太大了，如果你把所有的爬取时间都放在一些过滤的页面上，很容易合并几百万几千万的页面，搜索引擎没有机会也没有时间想要访问该页面。

　　因此，有时您可能希望搜索引擎不要抓取某些页面。因此，尽量不要发布指向您不想访问的页面的链接。您可以使用 JavaScript 隐藏，或添加 nofollow，或使用机器人文件禁用这些文件的搜索引擎。

　　还有一种情况，可以让搜索引擎获取，但不希望搜索引擎索引，就是把页面上的信息放到它的数据库里。有时，这两个，不要让 fetch，不要让索引反其道而行之，比如说上面提到的过滤页面。

　　有时候，事实上，如果你的 网站 没有那么大，你还没有达到搜索引擎为你抓取这些页面而分配的抓取时间的限制，但你不想被收录，因为这些页面往往是重复内容，因为它不改变搜索条件、改变过滤条件、重排，而且产品还是一样的，所以它往往是很多重复的内容。如果页面过于重复，搜索引擎可能会认为网站有问题，或者整体质量不高。因此，您可以让搜索引擎不索引这些页面。使用页面上的 no index 选项卡，输入 no index 后，这些页面将不会被索引。因此，在搜索这些页面时，没有任何结果。但是页面实际上是被捕获的，因为如果它们没有被捕获，你就不会

　　所以“爬行”和“索引”是两个不同的东西，也是不同的做事方式。您需要决定在特定站点的基础上实施哪些技术。

　　阅读过“[SEO]网站抓取和索引如何工作”的人还阅读了

　　上一篇：【杭州seo推广公司】企业如何优化推广网站

　　下一篇：【站外seo】网站外链怎么做？怎么做 网站 外部链接