搜索引擎优化实训(网站结构中robots.txt优化的基本操作方法及方法)

　　搜索引擎优化实训(网站结构中robots.txt优化的基本操作方法及方法)

　　本章首先介绍网站结构的定义和基本概念；然后介绍网站结构的常用术语，主要是网站physics结构和网站逻辑结构的含义和优化方法；并分析了网站URL结构的含义和优化；最后，通过一个案例来说明如何优化网站结构。 网站结构中robots.txt优化方法5.1 网站结构类网站结构指的是网站中页面之间的关系，一般来说网站结构较好的页面会给用户提供一个好的浏览体验。 网站结构会给搜索引擎带来以下好处： 在网站结构优化中，主要关注两个方面：网站的物理结构和网站的逻辑结构，物理结构，逻辑结构，树形逻辑结构是指网站结构，通过子渠道合理组织链接页面。在树逻辑结构网站中，链接深度一般大于1。从数据结构上看，树结构是深度>n，节点数>n+1的树。树的逻辑结构如图5-10所示： 网站结构优化网站物理结构优化网站优化的基本要求是让网站的结构清晰，目录清晰，便于搜索引擎搜索，便于后期人员管理。维持。逻辑结构优化（1）切记网站的PR值中，首页PR值最高，二级目录次之，三级目录及以上更差（2）在页面中使用“面包屑导航”，为了方便查看者在网站中定位和返回。（4）301重定向技术的使用。

　　5.2.3 URL结构优化（1）URL命名。URL命名的关键是为网站选择合适的关键词。目前大多数网站命名规则是“ root 域名+列名”（2）URL 是静态的。由于搜索引擎爬虫更喜欢静态页面，所以 URL 优化中一个重要的方法就是让 URL 静态化（3）URL 的目录结构优化。对于@对于网站的URL结构，设计者在网站实现之前应该给出一个清晰合理的思路，以便查看者可以浏览网站。5.2.5 网站的理想结构网站 网站的理想结构是网站规划中提出的一个概念，主要包括以下两点：（1）网站 HTML和静态页面。网站中的页面是用静态地址写的, 如果网站中存在动态页面，也可以使用上面介绍的URL重写方法解决，页面静态化后，可以提高网站的运行速度。（2）@ 网站 目录级扁平化。将网站中的所有网页保存在根目录下，并按逻辑顺序排列目录，目录结构不超过三层，并保证所有页面的目录深度为1。5.2. 6 网站的合理结构由于网站结构在实际开发中大多比较复杂，一般来说网站的合理结构应该是树状结构。 网站采用这种结构，内容丰富，栏目众多。更有利于网络搜索爬虫。 网站组织的合理结构如图5-23所示：5.2.5 网站结构中robots.txt代码优化的原理和实现被称为“网络”爬虫排除标准，这个协议是互联网的道德规范，主要用于保护网站中的一些隐私。

　　网站可以通过robots告诉搜索引擎哪些页面可以爬取，哪些页面不能爬取。 robots.txt 是存在于网站 根目录下的文本文件。当搜索引擎访问网站时，首先读取的文件是robots.txt文本。百度蜘蛛代表百度搜索引擎，Googlebot代表谷歌搜索引擎。 Disallow 域用于描述不想被索引的 URL 路径。机器人应用声明。 5.3 网站 结构优化示例。 5.4 本章小结（1）网站结构是指网站中页面之间的关系。网站结构越合理，网络爬虫抓取页面的时间越短。 网站结构优化主要围绕网站的物理结构和网站的逻辑结构两个方面进行。（2）网站物理结构优化的基本方法是：根据列；目录和对应文件的命名要规范，越短越好；网站目录层次不要超过三层。（3）网站逻辑结构优化的基本方法是尽量减少页面之间的链接深度，包括减少首页和分支页面、分支页面和分支页面之间的链接深度，在网站重要页面添加适量的链接条目，面包屑导航可以使用得当。（5）网站结构这种理想的结构和合理的结构在实际开发中是存在的。在实际开发中，一般采用合理的结构来实现。 （6）网站根目录下的robots.txt文件，可以帮助搜索引擎爬虫选择抓取这个网站内容。5.5