简洁美观的网站结构Spider规则（一）-八维教育

　　简洁美观的网站结构Spider规则（一）-八维教育

　　1、简单明了的网站结构

　　蜘蛛爬行相当于遍历网络的有向图，所以网站的简单明了的结构一定是自己喜欢的，尽量保证蜘蛛的可读性。

　　(1）最优树结构为“首页—频道—详情页”；

　　（2）flat首页到详情页的层级越少越好，利于抓取，可以很好的传递权重。

　　(3）网状保证每个页面至少有一个文本链接指向它，这样网站才能被收录尽可能全面的抓取，内部链的构建也可以起到积极的作用排名。

　　（4）Navigation 为每个页面添加导航，以便用户知道他们在哪里。

　　(5）子域和目录的选择相信很多站长对此都有疑问。在我们看来，当内容较少，内容相关性高时，建议在目录形式，有利于权重继承和收敛；当内容量较大，与主站相关性稍差时，建议采用子域的形式实现。

　　2、简洁漂亮的url规则

　　(1）唯一性网站同一内容页面只对应一个URL，URL过多会分散页面权重，目标URL可能被系统过滤；

　　（2）succinct 动态参数尽量少，网址尽量短；

　　（3）Aestheticity 使用户和机器可以通过 URL 判断页面内容的主题；

　　我们推荐以下网址：网址应尽量简短易读，以便用户快速理解，例如使用拼音作为目录名称；系统中相同的内容只会生成一个唯一的URL对应，去掉无意义的参数；如果无法保证url的唯一性，尽量对目标url使用不同形式的url301；防止用户在主域名中输入错误的备用域名301。

　　3、其他笔记

　　（1）不要忽略倒霉的robots文件。默认情况下，部分系统robots被搜索引擎屏蔽。网站建立后，及时检查并写入相应的robots文件。网站日常维护中还要注意定期检查；

　　（2）建立网站站点地图文件和死链文件，及时通过百度站长平台提交；

　　(3）e-commerce网站部分@有地域跳转的问题，如果没有库存，建议统一做一个页面，页面中标明是否没有库存就行了。唐区域缺货不返回无效页面，由于蜘蛛导出有限，正常页面无法收录。

　　（4）合理使用站长平台提供的robots、sitemap、索引量、抓取压力、死链提交、网站改版等工具。