搜索引擎禁止的方式优化网站(一下网站不设置robots，搜索引擎抓取网站的频率不高!)

　　搜索引擎禁止的方式优化网站(一下网站不设置robots，搜索引擎抓取网站的频率不高!)

　　大家都知道一个网站上线后需要优化。最重要的是可以正常打开，因为只有网站才能正常打开，才能让搜索引擎爬虫程序（蜘蛛程序）顺利抓到。拿我们的网站内容来说，因为我们的网站收录了很多内容，比如web文件、css样式、js文件、图片视频等，所以很多文件对于搜索引擎爬虫（蜘蛛程序）来说是一个巨大的工作量。这时候我们需要做一些设置，让搜索引擎爬虫程序（spider program）只爬取我们网站的主要内容，其他不需要的文件不会被搜索引擎爬虫程序（spider program）爬取这样，搜索引擎爬虫程序（spider program）只会抓取我们的主要内容，减少了搜索引擎爬虫程序（spider program）的爬行时间，我们减少了搜索引擎爬虫程序（spider program）的工作) 搜索引擎爬虫程序（蜘蛛程序）会来网站我们来抓取内容，这对我们网站关键词排名非常有利。那么如何减少搜索引擎爬虫（蜘蛛程序）对网站的抓取时间呢？今天给大家分享一下来自青县胜利雅兰网络工作室的网站不置机器人Qingxian网站优化训练，搜索引擎不经常爬网站！

　　让我们谈谈直接交付。上面提到的robots是一个名为robots的纯文本文件，其完整格式的扩展名为robots.txt。这个文件直接放在网站root目录下，可以通过URL/+robots.txt直接访问。 robots的主要作用是告诉哪些搜索引擎可以抓取哪些网站页面，哪些网站页面不允许抓取。

　　网站前期可以不设置robost文件，后期进行网站优化工作后需要设置robots文件。如果不设置，搜索引擎爬虫程序（蜘蛛程序）会爬取整个网站由于前期网站内容不多，搜索引擎爬虫程序不会占用太多时间（蜘蛛程序）爬取整个网站内容，但是后期网站优化工作会增加很多网站内容，这就是为什么早期无法设置robots文件的原因。

　　以下为大家举例：

　　User-agent: *，允许所有搜索引擎抓取。

　　Disallow: /admin/ 禁止访问管理目录

　　Disallow: /config/ 禁止访问配置目录

　　Disallow: /include/ 禁止访问插件目录

　　禁止：/public/ 禁止访问公共目录

　　Disallow: /install/ 禁止访问安装目录，一般应该删除这个目录

　　Disallow: /templates/ 禁止访问模板目录

　　Disallow: /member/ 禁止访问成员目录

　　Disallow: /wap/templates/ 禁止访问手机模板目录

　　站点地图：URL/sitemap.xml 网站Map URL

　　很多SEO工具经常会遇到一个问题：网站的JS文件、CSS样式表文件、图片是否应该在Robots.txt中加入Disallow，禁止搜索引擎爬虫（蜘蛛程序）爬取。 SEO祥子在这方面的回答非常准确：完全基于SEO思维，从搜索引擎优化的角度来看，JS、CSS、图片目录或文件不应该被禁止抓取！

　　那么问题来了，网站的JS文件、CSS样式表文件和图片是否需要禁止搜索引擎爬虫（蜘蛛程序）抓取？答案是不。前期作者想提高搜索引擎爬虫（蜘蛛程序的爬取频率是禁止爬取网站的JS文件、CSS样式表文件和图片。然而，作为搜索引擎爬虫（蜘蛛程序）越来越成熟，现在媒体的多样性已经可以被认可了，所以网站的JS文件、CSS样式表文件和图片都不需要被禁了，这样图片也可以被搜索引擎爬虫（蜘蛛程序）识别并抓取，所以图片也可以优化。搜索引擎爬虫（蜘蛛程序）可能会使用CSS样式表文件来分析是否网站秘籍：隐藏文本。同样，JS文件是也用来控制CSS的效果，所以不能禁止抓取JS文件。

　　以上是编者对Robots.txt是否应该屏蔽JS和CSS的理解。小编认为Robots.txt应该不会屏蔽JS和CSS，但是JS和CSS需要打包。

　　好的，上面是网站没有设置robots，搜索引擎抓取网站的所有内容不频繁。更多问题请咨询青县胜利雅澜网络工作室。