博客搜索引擎优化(浅谈这方面领域的第一篇文章(一)_速途网网虫)

　　博客搜索引擎优化(浅谈这方面领域的第一篇文章(一)_速途网网虫)

　　（据苏图网），到目前为止，作者还没有写过一篇关于搜索引擎优化的文章。作者的初衷是让这个博客成为大家讨论互联网技术和讨论SEO或SEM的地方，所以今天打算写这个领域的第一篇文章文章。

　　众所周知，一个网站的流量大致可以分为三部分：直接访问（direct）、引用页面（referer）和搜索（search engine）。其实那部分搜索也可以属于参考页的范畴，但是作为一个独立的分析模块拿出来实在是太重要了。总的来说，这三个部分的比例会随着网站的性质和发展而变化。例如，对于门户网站，直接访问的百分比通常应该网站高，否则“门户”一词将失去意义。同样，对于一些提供服务的网站，搜索部分应该更高，因为当用户需要寻找服务时，第一站往往是百度或谷歌。对于这三个部分的流量，会有不同的策略和方法来增加你的网站的流量。在这篇文章中，作者主要关注搜索引擎。

　　让我们介绍一下今天的主角——爬虫。爬虫是搜索引擎获取网络资源的重要途径。通过网络爬虫，搜索引擎可以有机地获取当前互联网上的最新网页，为接下来的分析关键词、排序等提供素材。既然爬虫这么重要，我们应该给他提供一些合适的“爬虫的食物”（这里不想提太多的技术分析，比如广度优先、深度优先、内容相关性、​​网页重要性等，这些都是留给每个研发人员去研究的东西）关心一下。这里只是想描述一些概念性的观点，适合大家理解和讨论）。但是这里一个非常重要的概念是爬虫是有礼貌的，不会被忽视。它将在其“用户代理”中声称“我是某某搜索引擎的爬虫”。这对我们来说是一个很好的机会，因为机器毕竟不同于人类，实现人类最佳的视觉效果可能不利于搜索引擎对页面的分析，反之亦然。通过检测爬虫，您可以将一个完全适合机器的页面只交给爬虫，而完全不影响您的真实用户的用户体验。而且，随着时间的发展，爬虫开始变得越来越智能，一些爬虫，比如google，已经可以理解页面本身的javascript（但不包括 因为机器毕竟与人类不同，实现人类最佳视觉效果可能不利于搜索引擎对页面的分析，反之亦然。通过检测爬虫，您可以将一个完全适合机器的页面只交给爬虫，而完全不影响您的真实用户的用户体验。而且，随着时间的发展，爬虫开始变得越来越智能，一些爬虫，比如google，已经可以理解页面本身的javascript（但不包括 因为机器毕竟与人类不同，实现人类最佳视觉效果可能不利于搜索引擎对页面的分析，反之亦然。通过检测爬虫，您可以将一个完全适合机器的页面只交给爬虫，而完全不影响您的真实用户的用户体验。而且，随着时间的发展，爬虫开始变得越来越智能，一些爬虫，比如google，已经可以理解页面本身的javascript（但不包括 但完全不会影响您的真实用户的用户体验。而且，随着时间的发展，爬虫开始变得越来越智能，一些爬虫，比如google，已经可以理解页面本身的javascript（但不包括 但完全不会影响您的真实用户的用户体验。而且，随着时间的发展，爬虫开始变得越来越智能，一些爬虫，比如google，已经可以理解页面本身的javascript（但不包括