seo搜索引擎优化是什么(robots.txt写法.是网站seo优化着很重要的作用 )

优采云 发布时间: 2021-09-09 15:48

  seo搜索引擎优化是什么(robots.txt写法.是网站seo优化着很重要的作用

)

  Robots.txt 编写方法

  robots.txt 在网站seo 优化中扮演着非常重要的角色。 Robots.txt 是搜索引擎访问网站 时需要检查的第一个文件。搜索引擎蜘蛛访问站点时,首先要检查站点根目录下是否存在robots.txt,如果存在,则根据文件内容确定访问范围。如果文件不存在,则会随意抓取,可能会抓取到重复路径或错误页面。下面我就来告诉你如何写rotbots.txt,希望对你有帮助。

  robots.txt 的编写示例:

  1、阻止所有搜索引擎访问网站的任何部门,也就是阻止所有引擎收录你的网站。

  用户代理:*

  禁止:/

  2、允许所有搜索引擎访问你网站的任何部门,这是通常的用法。

  用户代理:*

  禁止:

  可能

  用户代理:*

  允许:/

  3、如果你的网站的某个目录不想被搜索引擎收录搜索,写成如下:

  用户代理:*

  禁止:/directory name1/

  禁止:/directory name2/

  禁止:/directory name3/

  太详细了:不能写成Disallow: /directory name1/ /directory name2/,每个目录必须单独一行特别说明。

  4、 只允许某个搜索引擎访问你的网站。同一个百度就是Baiduspider 谷歌就是googlebot

  用户代理:baiduspider

  允许:

  用户代理:googlebot

  允许:

  5、只是限制某个搜索引擎访问你的网站。谷歌是googlebot 百度是baiduspider

  用户代理:baiduspider

  禁止:/

  用户代理:googlebot

  禁止:/

  6、 阻止搜索引擎访问网站 中的所有动态页面(动态页面是任何在 URL 中带有“?”的页面)

  用户代理:*

  禁止:/*?*

  7、只允许搜索引擎以某种文件后缀的形式访问网页。

  用户代理:*

  允许:。后缀形式(如.html、.htm、.php等)$

  禁止:/

  8、允许搜索引擎访问特定目录中的页面

  用户代理:*

  Allow: /Category1/Category 2(允许访问类别 2 中的网页)

  允许:/directory3/directory4(允许访问目录 4 中的网页)

  允许:/Category 5/Catalog 6(允许访问目录 6 中的网页)

  禁止:/directory1/

  禁止:/directory3/

  禁止:/directory5/

  9、 限制搜索引擎以特定文件后缀的形式访问网页。

  用户代理:*

  禁止:/*.后缀形式(如.html、.htm、.php等)

  10、 防止搜索引擎访问某种文件格式的网站文件(注意不是网页)

  用户代理:*

  禁止:/*. (文件格式:如gif、jpg等)$

  以上是一些常用的格式。具体写法还要看每个网站的需求。

  编写robots.txt还要注意以下几个问题:

  1、robots.txt 文件因此是纯文本格式的 txt 文件。

  2、robots.txt 必须放在网站的根目录下。顶层robots.txt文件必须这样访问:比如广州seo网站写的robots.txt

  3、在编写robots.txt时,必须严格按照以上大小写和转录

  4、 通常你的网站比较简单,所以上面的格式足够你使用了。如果比较大,就需要访问这里而不是对方,阻止这个文件,允许那个文件,允许访问标有“?”的特定网页。 网站的robots.txt文件写好了。

  5、robots.txt 通常还可以存在于子目录中,但如果与顶级目录中的robots.txt 不同,则以顶级目录中的robots.txt 为准。

  6、 仅当您的网站 收录您不想被收录 搜索的内容时才使用robots.txt 文件。如果您想要搜索引擎收录网站上的所有内容,请不要创建robots.txt文件,也不要创建内容为空的robots.txt文件。这通常是草率的。事实上,创建一个空的robots.txt文件对搜索引擎非常不友好。

  7、如果你不想自己写robots.txt文件,那请谷歌帮你写。登录谷歌平台,生成robots.txt文件。

  8、注意以下格式

  用户代理:*

  禁止:/

  这种格式不仅是为了防止页面爬虫,更重要的是你的网站是收录,然后将robots.txt文件修改成上面的格式,那么你的网站就会变成searched 从引擎中删除,完全删除。

  9、元标对于通常的网站来说是可选的,但你还是要知道:

  (页面不允许被爬取,不允许在页面上链式连续爬取)

  (允许爬取这个页面,允许沿着这个页面的链继续爬取)

  (页面允许爬取,不允许继续爬取页面上的链)

  (页面不允许爬取,允许继续爬取页面上的链)

  10、 搜索引擎收录需要删除某些特定网页,请参考

  # robots.txt for https://www.xiaoxinglai.com

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线