从网页抓取数据(如何从网站爬网数据中获取结构化数据？() )

　　从网页抓取数据(如何从网站爬网数据中获取结构化数据？()

)

　　原创来源：作品（从 网站 获取数据的 3 种最佳方法）/ 网站 名称（Octoparse）

　　原创链接：从网站抓取数据的最佳 3 种方法

　　这几年，对爬取数据的需求越来越大。爬取的数据可用于不同领域的评估或预测。在这里，我想谈谈我们可以用来从网站 中抓取数据的三种方法。

　　1.使用网站API

　　许多大型社交媒体网站，例如 Facebook、Twitter、Instagram、StackOverflow，都提供 API 供用户访问其数据。有时，您可以选择官方 API 来获取结构化数据。如下面的 Facebook Graph API 所示，您需要选择要查询的字段，然后对数据进行排序、执行 URL 查找、发出请求等。要了解更多信息，请参阅 /docs/graph-api/using-graph-api。

　　2.创建自己的搜索引擎

　　但是，并非所有 网站 都为用户提供 API。一些网站由于技术限制或其他原因拒绝提供任何公共API。有人可能会提出RSS提要，但由于它们的使用受到限制，我不会对其提出建议或评论。在这种情况下，我想讨论的是，我们可以构建自己的爬虫来处理这种情况。

　　搜索引擎是如何工作的？换句话说，爬虫是一种生成可以由提取程序提供的 URL 列表的方法。 爬虫可以定义为查找 URL 的工具。首先，您需要为爬虫提供一个要启动的网页，它们将跟踪该页面上的所有这些链接。然后，这个过程将继续循环。

　　然后，我们可以继续构建自己的爬虫。众所周知，Python是一门开源的编程语言，你可以找到很多有用的函数库。在这里，我推荐使用 BeautifulSoup（Python 库），因为它易于使用且具有许多直观的字符。更准确地说，我将使用两个 Python 模块来抓取数据。

　　BeautifulSoup 无法为我们获取网页。这就是我将 urllib2 与 BeautifulSoup 库结合使用的原因。然后，我们需要处理 HTML 标记以找到页面标记和右侧表格中的所有链接。之后，遍历每一行 (tr)，然后将 tr (td) 的每个元素分配给一个变量并将其附加到列表中。首先让我们看一下表格的HTML结构（我不会从表格标题中提取信息）。

　　通过采用这种方法，您的搜索引擎是定制的。它可以处理API提取中遇到的某些困难。您可以使用代理来防止它被某些网站 等阻止，整个过程都在您的控制之下。这种方法对于具有编码技能的人来说应该是有意义的。您抓取的数据框应如下图所示。

　　3.使用现成的爬虫工具

　　但是，自行以编程方式抓取 网站 可能会很耗时。对于没有任何编码技能的人来说，这将是一项艰巨的任务。因此，我想介绍一些搜索引擎工具。

　　八度分析

　　Octoparse 是一个强大的基于 Visual Windows 的 Web 数据搜索器。用户可以通过其简单友好的用户界面轻松掌握该工具。要使用它，您需要在本地桌面上下载此应用程序。

　　如下图所示，您可以在 Workflow Designer 窗格中单击并拖动这些块来自定义您自己的任务。Octoparse 提供两种版本的爬虫服务订阅计划免费版和付费版。两者都可以满足用户的基本爬取或爬取需求。使用免费版本，您可以在本地运行任务。

　　如果您从免费版本切换到付费版本，您可以通过将任务上传到云平台来使用基于云的服务。6 到 14 台云服务器将同时以更高的速度运行您的任务，并执行更大范围的抓取。此外，您可以使用 Octoparse 的匿名代理功能自动提取数据，不留任何痕迹。这个功能可以轮流使用大量的IP，可以防止你被某些网站屏蔽。这是一个介绍 Octoparse 云提取的视频。

　　Octoparse 还提供 API 以将您的系统实时连接到您抓取的数据。您可以将 Octoparse 数据导入您自己的数据库，也可以使用 API 请求访问您的帐户数据。完成任务配置后，您可以将数据导出为各种格式，如CSV、Excel、HTML、TXT 和数据库（MySQL、SQL Server 和Oracle）。

　　*敏*感*词*

　　Import.io 也被称为网络爬虫，涵盖所有不同层次的搜索需求。它提供了一个神奇的工具，无需任何培训即可将站点转换为表格。如果需要抓取更复杂的网站，建议用户下载其桌面应用。构建 API 后，他们将提供许多简单的集成选项，例如 Google Sheets、Plot.ly、Excel 以及 GET 和 POST 请求。当您认为所有这些都附带终身免费价格标签和强大的支持团队时，import.io 无疑是那些寻找结构化数据的人的首选。它们还为寻求更大或更复杂数据提取的公司提供企业级支付选项。

　　本善达

　　Mozenda 是另一个用户友好的网络数据提取器。它有一个指向用户的点击式 UI，无需任何编码技能即可使用。Mozenda 还消除了自动化和发布提取数据的麻烦。一次告诉Mozenda你想要什么数据，然后不管你需要多少次都可以得到。此外，它还允许使用 REST API 进行高级编程，用户可以直接连接 Mozenda 帐户。它还提供基于云的服务和 IP 轮换。

　　刮框

　　SEO 专家、在线营销人员甚至垃圾邮件发送者都应该非常熟悉 ScrapeBox，它具有非常人性化的界面。用户可以轻松地从网站 采集数据以获取电子邮件、查看页面排名、验证工作代理和 RSS 提交。通过使用数以千计的轮换代理，您将能够隐藏竞争对手的网站关键字，在.gov网站上进行研究，采集数据并发表评论，而不会被阻止或检测到。

　　谷歌网络爬虫插件

　　如果人们只是想以简单的方式抓取数据，我建议您选择 Google Web Scraper 插件。它是一种基于浏览器的网页抓取工具，其工作方式类似于 Firefox 的 Outwit Hub。您可以将其作为扩展下载并安装在浏览器中。您需要突出显示要抓取的数据字段，右键单击并选择“Scrape like...”。与您突出显示的内容类似的任何内容都将显示在准备导出的表格中，并且与 Google Docs 兼容。最新版本的电子表格仍有一些错误。虽然操作简单，应该会吸引所有用户的注意力，但它无法抓取图像和抓取大量数据。