从网页抓取数据(网络爬虫的构架3、以抓取一个网页的内容为目的)

　　从网页抓取数据(网络爬虫的构架3、以抓取一个网页的内容为目的)

　　（一）Data Capture 概览如何将非结构化数据转化为结构化数据？（二）Grab 逻辑——ETL

　　什么是 ETL？

　　(三）准备前的数据采集1."Web Crawler"架构 Web Crawler架构

　　2、如何理解“网络爬虫”架构来研究量化投资策略，第一步是获取我们需要的数据。在实践中，比较实用的数据来源是新浪财经的数据。下面我们以新浪财经以财经为例，为大家梳理一下网络爬虫的结构3、以抓取网页内容为目的，如何观察网页我们有新浪财经股票博客信息，如何应该把这个信息，包括标题和时间都抢过来吗？ （1）使用开发者工具观察

　　(2）观察Requests的组成

　　通常来说文章和news会放在Doc下，我们接下来要爬取的链接就隐藏在106个链接之一中；

　　(3）观察HTTP请求和返回内容。我们可以在Document下找到文章和新闻内容。为什么？因为只要是有上述类型内容的网页，他们都需要被搜索引擎搜索到。对于搜索引擎来说，Document的内容是最好的，所以大多数情况下，只要找到Document下的第一个链接，就可以准备爬取文章和新闻内容；只有很小的一部分部分会看到XHR等部分；下面，jacky（数据分析部落公众号：shujudata）分享实际操作；

　　确定网页的访问方式

　　上面，我们观察网页后，会发现response下的数据是放在html页面中的。 HTML 收录网页的标签。这些标签描述了网页的行为。我们得到的响应是html，里面收录它的数据和它的标签，这样的数据不是结构化数据，我们还需要进一步处理，那么如何将非结构化数据处理成结构化数据呢？请参考jacky的第二次分享，谢谢大家！