广州百度搜索引擎优化(一下.txt规范搜索引擎抓取的规范抓取抓取书写)

　　广州百度搜索引擎优化(一下.txt规范搜索引擎抓取的规范抓取抓取书写)

　　Robots.txt 是每个搜索引擎蜘蛛访问的第一个文件 网站。它的标准写法直接影响网站优化的结果。今天，就来分享一下标准的搜索引擎抓取写法。

　　首先我们来看看Robots.txt的作用。

　　1.死链接

　　当我们的网站页面被百度接收收录时，不小心出现了死链，那么我们可以通过Robots.txt把死链全部写出来，然后等待快照被删除，以免对网站的优化排名造成不良影响。

　　2.屏蔽隐私页面

　　我们的网站总是不可避免的需要网站背景、css文件、js文件和一些不想被搜索引擎抓取的文件。这时候可以通过Robots文件来屏蔽。具体写法参考以下规则。

　　3.阻止重复页面

　　我们的网站基本上都是使用动态的网站程序，一般的网站路径都是动态路径，但是我们想让搜索引擎对网站的路径更加友好。通常通过技术手段将动态路径变成静态路径或伪静态路径。这时候，其实网站的同一个页面已经产生了两条不同的路径，不利于网站优化排名，所以需要通过Robots来阻断动态路径。

　　因此，我们可以看到需要自己创建robots.txt文件，不仅可以解决网站的404页面，还可以屏蔽重复的内容，更有利于网站 优化排名。

　　只有三种写法：1.User-agent，搜索引擎蜘蛛的名字； 2.Disallow，要屏蔽的部分； 3.允许，不允许的目录单独允许部分。

　　示例如下：

　　1.用户代理：*

　　允许所有搜索引擎抓取

　　2.禁止：/css/

　　禁止抓取css文件下的所有文件

　　3.允许：/css/seo.jpg

　　css目录下的seo.jpg允许被搜索引擎单独抓取

　　需要注意三点：

　　1.文件位置必须放在站点根目录下；

　　2.2. 除正则大写外，其他字母均为小写英文。

　　3. 规则和文件名之间有一个空格。必须是输入法英文状态下的空格，否则不能用。

　　好的，上面提到的booster网站优化了Robots.txt的编写，希望对Robots.txt的制作有所帮助。