做网站结构分析之前，要理解搜索引擎蜘蛛是拟人化的算法而已

　　做网站结构分析之前，要理解搜索引擎蜘蛛是拟人化的算法而已

　　在做网站结构分析之前，有必要了解一下搜索引擎蜘蛛是拟人化算法。该算法是对预先设计好的爬行策略的逐步实现，所以好的网站结构具有引导、分配权重、提高爬行效率的功能。只有构建了内部框架之后，才能组织内容的布局，并且蜘蛛程序才能进行Order爬网。

　　应提前考虑的问题：

　　蜘蛛是否实现全站逻辑爬取

　　蜘蛛可以区分页面的重要性吗？

　　蜘蛛能否提取页面的关键词

　　一、 逻辑爬取整个网站

　　网站 结构优化

　　网站 物理结构，即根据内容聚合的目录和文件位置确定的结构。目前主流的思路是网站扁平化设计，即并行结构。

　　链接结构优化

　　蜘蛛无法抓取的两种页面：网站本身不想成为收录页面；没有可访问链接的页面，即岛屿页面。对于首页没有推荐的页面，可以在内部链接上添加。合理的内链是四通八达的有序运输系统，蜘蛛是路过的交通工具。社交、文字说明、设置链接入口等

　　域结构优化

　　主要是二级域名和二级目录的选择策略。没有绝对的好或坏。就可易网编辑而言，公司网站目前正在将二级域名网站结构转移到二级目录。它只是采用了适应可艺网当前发展的核心：塑造公司品牌。 所以要根据自身特点选择合理的域策略。

　　二、主角的重要性

　　对于共享搜索引擎，什么样的页面被认为“更重要”？有一种说法：每个链接都是一个投票，这意味着：页面上的所有链接都是投票。从搜索引擎的角度来看：获得更多内部投票的页面相对更重要。