爬虫抓取网页数据(网页爬虫：将页面的所有链接获取到这些网页数据)

　　爬虫抓取网页数据(网页爬虫：将页面的所有链接获取到这些网页数据)

　　网络爬虫就是抓取目标网页，然后遍历到数据信息，再继续遍历链接，如此回调。

　　第 1 步：获取页面上的所有链接。

　　你会发现会有一些无用的数据，一些href值只是作为跳转到页面块使用，我们可以用正则表达式优化过滤掉，只获取HTML结尾的链接

　　第 2 步：递归获取网页。

　　第一步，我们基本上得到了一个网页的所有链接地址，第二步显然是获取这些链接网页的链接，进一步获取这些网页的数据。例如，我们在 Wiki 上的 Python 条目下获得相关条目的链接。既然有我们不关心的链接，就需要过滤掉一部分正则表达式，然后大量的链接链接，电话采集 软件我们用不完，就搞定了一些随机条目。

　　采集整个网站和URL，指定任意URL域名。

　　这里是整个网站的所有链接采集。当然还有很多像wiki这样的*敏*感*词*网站数据。基本上不可能全部获得采集。使用 Scrapy采集，高层建筑是用最简单的一砖一瓦建造的。写一个网络爬虫也是由很多简单重复的操作组成，去寻找页面的关键信息和外链，然后像这样循环往复。Scrapy 库可以大大减少网页链接搜索（无需自己做很多过滤条件和正则表达式），还可以降低识别的复杂度。

　　使用参考官网的介绍；第一个Scrapy helloworld 基本完成，流程大致如下：

　　Scrapy在Spider的start_urls属性中为每个URL创建一个scrapy.Request对象，并将parse方法作为回调函数分配给Request。Request对象调度好后，scrapy.http.Response对象被生成并发回spider parse()方法。