爬虫的基本工作模式

　　当我与人们谈论我做哪些以及SEO是哪些时，他们一般会很快问到怎样提高网路爬虫的抓取率，良好的网站结构，良好的内容，良好的反向链接支持。但有时，它会显得更具技术性……

　　网络爬虫为何要爬行网站？

　　网络爬行开始于映射互联网以及每位网站如何互相联接，它也被搜索引擎用于发觉和索引新的网路页面。网络爬虫还用于测试网站和剖析是否发觉网站漏洞。

　　网络爬虫用于搜集信息，然后使用和处理这种信息以对文档进行分类并提供有关所搜集数据的看法。

　　只要熟悉代码的人都可以访问并建立爬虫，但是，制作高效的爬虫太困难而且须要耗费更多时间。

　　网络爬虫是怎样工作的 ？

　　要抓取网站或网页，首先须要一个入口点。机器人须要晓得您的网站存在，以便她们可以来查看。在您将网站提交给搜索引擎的时侯网络爬虫，网络爬虫就晓得你的网站是存在于互联网之中。当然，您也可以构建一些指向您网站的链接，并且引导爬虫循环爬行！

　　网络爬虫一旦登入您的网站，它会逐行剖析您的所有内容，并跟踪您拥有的每位链接，无论它们是内部还是外部。依此类推，直到它落在没有更多链接的页面上，或者碰到404,403,500,503等错误就会离开。

　　从更技术的角度来看，爬虫使用URL的*敏*感*词*（或列表）。然后传递给搜索引擎，它将检索页面的内容。然后将此内容移至链接提取器，该提取器将解析HTML并提取所有链接。这些链接被发送到存储器。这些URL也将通过页面过滤器，该过滤器将所有链接发送到URL模块。此模块检查是否早已听到URL。如果没有，它将被发送到抓取程序，它将检索页面的内容，依此类推。

　　注意，蜘蛛难以抓取个别内容，例如Flash。百度蜘蛛与GoogleBot目前才能正确抓取部份Javascript。

　　如果机器人没有被任何规则严禁，他们将抓取一切可被发觉的链接。这促使robots.txt文件显得十分有用。它告诉爬虫（它可以是每位爬虫特定的，即GoogleBot或Baidu Spider –在这里找到关于机器人的更多信息）他们未能抓取的页面。比方说，您可以使用构面进行导航，您可能不希望机器人抓取这种，因为它们几乎没有价值，并且会浪费抓取预算网络爬虫，查看robots.txt文件合同设置简介。

　　例：

　　User-agent：*

　　Disallow：/ admin /

　　这告诉所有机器人不要抓取admin文件夹

　　User-agent：Baidu Spider

　　Disallow：/ repertoire-b /

　　另一方面，这指定只有Baidu Spider未能抓取文件夹B.

　　您还可以在HTML中使用指示，告知机器人不要使用rel =“nofollow”标记来关注特定链接。有些测试表明虽然在链接上使用rel =“nofollow”标记也不会制止Baidu Spider跟踪它。这与其目的相矛盾，但在其他情况下会有用。

　　抓取预算是哪些？

　　假设有一个搜索引擎早已发觉一个网站，他们常常会查看您是否在您的网站上进行了任何更新或则创建了新页面。

　　每个网站都有自己的抓取预算，具体取决于几个诱因，例如您网站的网页数目和网站的完整性（例如，如果它有好多错误）。通过登陆百度站长平台，您可以轻松快速了解抓取预算。

　　网站抓取预算将修补每次访问时机器人在您网站上抓取的网页数目。它与您网站上的网页数目成比列关联，某些页面被更频繁地被抓取，特别是定期更新或则从重要页面链接。

　　例如，网站主页是主要的入口点，将常常被抓取。如果您有博客或类别页面，如果它们链接到主导航，它们将常常被抓取。博客也会时常被抓取，因为它会定期更新。博客文章在首次发布时可能会被抓取，但几个月后它可能难以更新。

　　页面被抓取的次数越多，机器人觉得与其他页面相比它就越重要，这时您须要开始优化抓取预算。

　　如何优化抓取预算？

　　为了优化爬网预算并确保您最重要的页面得到应有的关注，您可以剖析服务器日志并查看您的网站被抓取的形式：