seo搜索引擎优化是什么(robots.txt写法.是网站seo优化着很重要的作用 )
优采云 发布时间: 2021-09-09 15:48seo搜索引擎优化是什么(robots.txt写法.是网站seo优化着很重要的作用
)
Robots.txt 编写方法
robots.txt 在网站seo 优化中扮演着非常重要的角色。 Robots.txt 是搜索引擎访问网站 时需要检查的第一个文件。搜索引擎蜘蛛访问站点时,首先要检查站点根目录下是否存在robots.txt,如果存在,则根据文件内容确定访问范围。如果文件不存在,则会随意抓取,可能会抓取到重复路径或错误页面。下面我就来告诉你如何写rotbots.txt,希望对你有帮助。
robots.txt 的编写示例:
1、阻止所有搜索引擎访问网站的任何部门,也就是阻止所有引擎收录你的网站。
用户代理:*
禁止:/
2、允许所有搜索引擎访问你网站的任何部门,这是通常的用法。
用户代理:*
禁止:
可能
用户代理:*
允许:/
3、如果你的网站的某个目录不想被搜索引擎收录搜索,写成如下:
用户代理:*
禁止:/directory name1/
禁止:/directory name2/
禁止:/directory name3/
太详细了:不能写成Disallow: /directory name1/ /directory name2/,每个目录必须单独一行特别说明。
4、 只允许某个搜索引擎访问你的网站。同一个百度就是Baiduspider 谷歌就是googlebot
用户代理:baiduspider
允许:
用户代理:googlebot
允许:
5、只是限制某个搜索引擎访问你的网站。谷歌是googlebot 百度是baiduspider
用户代理:baiduspider
禁止:/
用户代理:googlebot
禁止:/
6、 阻止搜索引擎访问网站 中的所有动态页面(动态页面是任何在 URL 中带有“?”的页面)
用户代理:*
禁止:/*?*
7、只允许搜索引擎以某种文件后缀的形式访问网页。
用户代理:*
允许:。后缀形式(如.html、.htm、.php等)$
禁止:/
8、允许搜索引擎访问特定目录中的页面
用户代理:*
Allow: /Category1/Category 2(允许访问类别 2 中的网页)
允许:/directory3/directory4(允许访问目录 4 中的网页)
允许:/Category 5/Catalog 6(允许访问目录 6 中的网页)
禁止:/directory1/
禁止:/directory3/
禁止:/directory5/
9、 限制搜索引擎以特定文件后缀的形式访问网页。
用户代理:*
禁止:/*.后缀形式(如.html、.htm、.php等)
10、 防止搜索引擎访问某种文件格式的网站文件(注意不是网页)
用户代理:*
禁止:/*. (文件格式:如gif、jpg等)$
以上是一些常用的格式。具体写法还要看每个网站的需求。
编写robots.txt还要注意以下几个问题:
1、robots.txt 文件因此是纯文本格式的 txt 文件。
2、robots.txt 必须放在网站的根目录下。顶层robots.txt文件必须这样访问:比如广州seo网站写的robots.txt
3、在编写robots.txt时,必须严格按照以上大小写和转录
4、 通常你的网站比较简单,所以上面的格式足够你使用了。如果比较大,就需要访问这里而不是对方,阻止这个文件,允许那个文件,允许访问标有“?”的特定网页。 网站的robots.txt文件写好了。
5、robots.txt 通常还可以存在于子目录中,但如果与顶级目录中的robots.txt 不同,则以顶级目录中的robots.txt 为准。
6、 仅当您的网站 收录您不想被收录 搜索的内容时才使用robots.txt 文件。如果您想要搜索引擎收录网站上的所有内容,请不要创建robots.txt文件,也不要创建内容为空的robots.txt文件。这通常是草率的。事实上,创建一个空的robots.txt文件对搜索引擎非常不友好。
7、如果你不想自己写robots.txt文件,那请谷歌帮你写。登录谷歌平台,生成robots.txt文件。
8、注意以下格式
用户代理:*
禁止:/
这种格式不仅是为了防止页面爬虫,更重要的是你的网站是收录,然后将robots.txt文件修改成上面的格式,那么你的网站就会变成searched 从引擎中删除,完全删除。
9、元标对于通常的网站来说是可选的,但你还是要知道:
(页面不允许被爬取,不允许在页面上链式连续爬取)
(允许爬取这个页面,允许沿着这个页面的链继续爬取)
(页面允许爬取,不允许继续爬取页面上的链)
(页面不允许爬取,允许继续爬取页面上的链)
10、 搜索引擎收录需要删除某些特定网页,请参考
# robots.txt for https://www.xiaoxinglai.com