网页中flash数据抓取(通过自动程序在Airbnb上花最少的钱住最好的酒店)

　　网页中flash数据抓取(通过自动程序在Airbnb上花最少的钱住最好的酒店)

　　站长之家注：大数据时代，如何有效获取数据成为驱动商业决策的关键技能。分析市场趋势、监控竞争对手等都需要数据采集。网络爬虫是采集数据的主要方法之一。

　　在本文中，Christopher Zita 将向您展示 3 种使用网络抓取赚钱的方法。整个过程只需几个小时即可学会，使用的代码不到50行。

　　通过自动化程序花最少的钱入住 Airbnb 上最好的酒店

　　自动程序可用于执行特定操作，您可以将它们出售给没有赚钱技术技能的人。

　　为了展示如何创建和销售自动化程序，Christopher Zita 创建了一个 Airbnb 自动爬虫。该程序允许用户输入一个位置，它将获取 Airbnb 在该位置提供的所有房屋数据，包括价格、等级和允许进入的客人数量。所有这一切都是通过在 Airbnb 上抓取数据来完成的。

　　为了演示程序的实际运行，Christopher Zita 在程序中进入罗马，然后在几秒钟内获得了 272 条 Airbnb 相关数据：

　　现在，查看所有房屋数据非常简单，过滤也容易得多。以克里斯托弗·齐塔 (Christopher Zita) 的家人为例。他们家有四口人。如果他们想去罗马，他们会在 Airbnb 上寻找价格合理且至少有 2 张床的酒店。拿到这个表中的数据后，excel就可以很方便的进行过滤了。在这 272 条结果中，有 7 家酒店符合要求。

　　在这 7 家酒店中，Christopher Zita 选择了。因为通过数据对比可以看出，这家酒店评分很高，是7家酒店中最便宜的，每晚收费仅为61美元。选择所需链接后，只需将链接复制到浏览器中即可预订。

　　度假旅行时，寻找酒店是一项艰巨的任务。出于这个原因，有人愿意花钱来简化这个过程。有了这个自动程序，您可以在短短 5 分钟内以低廉的价格预订到您满意的房间。

　　获取具体产品价格数据，以最低价格购买

　　网页抓取最常见的用途之一是从网站 获取价格。通过创建一个程序来抓取特定产品的价格数据，当价格下降到一定水平时，它会在产品售罄之前自动购买该产品。

　　接下来，Christopher Zita 将向您展示一种可以在赚钱的同时为您节省大量资金的方法：

　　每个电商网站都会有数量有限的特价商品。他们会显示产品的原价和打折后的价格，但一般不会显示在原价的基础上打了多少折扣。举个例子，如果一只手表的初始价格是350美元，促销价是300美元，你会认为50美元的折扣不是小数目，但实际上只有14.2 ％ 折扣。而如果一件T恤的初始价是50美元，销售价是40美元，你会觉得它并没有便宜多少，但实际上它的折扣率比手表高出20%。因此，您可以通过购买折扣率最高的产品来省钱/赚钱。

　　下面以百货公司Hudson's'Bay为例进行数据采集实验。通过获取所有商品的原价和折扣价，找到折扣率最高的产品。

　　抓取网站数据后，我们得到了900多种产品的数据，其中只有一种产品Perry Ellis纯色衬衫的折扣率超过50%。

　　由于是限时优惠，这件衬衫的价格很快会回升至 90 美元左右。因此，如果您现在以 40 美元的价格购买并在限时优惠结束后以 60 美元的价格出售，您仍然可以赚取 20 美元。

　　这是一种方法，如果你找到合适的利基市场，你可能会赚很多钱。

　　抓取宣传数据并可视化

　　网络上有数百万个数据集可供所有人免费使用，而且这些数据通常很容易采集。当然，还有一些数据不容易获取，可视化需要花费大量时间。这就是销售数据的演变方式。天眼查、七查查等公司专注于获取和可视化商业行业的变化，然后以“买会员查”的形式卖给用户。

　　一个类似的模型是体育数据网站BigDataBall。这个网站通过出售玩家的各种游戏数据等统计信息，向用户收取每季30美元的费用。他们设置这个价格不是因为他们网站有数据，而是他们抓取数据后，对数据进行排序，然后以易于阅读和清晰的结构显示数据。

　　现在，Christopher Zita 要做的就是免费获取与 BigDataBall 相同的数据，然后将其放入结构化数据集。 BigDataBall 并不是唯一拥有这些数据的网站，它拥有相同的数据，但是网站 没有对数据进行结构化，用户很难过滤和下载所需的数据集。 Christopher Zita 使用网络爬虫抓取网页上的所有玩家数据。

　　所有NBA球员日志的结构化数据集

　　到目前为止，他本赛季已获得超过 16,000 份球员日志。通过网络抓取，Christopher Zita 在几分钟内获得了这些数据，并节省了 30 美元。

　　当然，Christopher Zita 也可以使用 BigDataBall 之类的网络爬虫工具来寻找人工难以获取的数据，让计算机来完成工作，然后将数据可视化并出售给对数据感兴趣的人。

　　总结

　　如今，网络抓取已成为一种非常独特且新颖的赚钱方式。如果你在合适的情况下应用它，你可以轻松赚钱。