推荐15款免费的网页抓取软件

　　网页抓取（也称为网路数据提取或网页爬取）是指从网上获取数据，并将获取到的非结构化数据转化为结构化的数据，最终可以将数据储存到本地计算机或数据库的一种技术。

　　网页抓取是通过抓取软件实现的。当你在使用浏览器如Chorme浏览页面的时侯，我们可以抓取的不仅仅是你所浏览的页面的数据，还有你浏览器本地的缓存（饼干）。是不是开始害怕你的隐私了？是的，我也有这样的担忧，不过我们在这里不讨论这个问题。

　　网页抓取的软件有很多，在这篇文章中，我将做列举30种主流软件，供你们参考使用。

　　1.美丽的汤

　　

　　美丽的汤是一个Python库，专门用于抓取HTML和XML文件。如果你的操作系统是Debian或则Ubuntu，你可以尝试安装这款免费软件。

　　2. Import.io

　　

　　Import.io是一个免费的在线网页抓取软件，可以从网站中抓取数据并整理成数据集。它拥有挺好的交互设计，使用上去十分便捷。

　　3. Mozenda

　　

　　Mozenda提供的数据提取工具可以很容易地抓取到来自网页的数据，即便没有按键，只须要键盘也能轻松操作。

　　4. ParseHub

　　

　　ParseHub是一种可视化网页采集软件，可用于从网页中获取数据。它可以从不提供API的网站中轻松创建API。

　　5.八卦

　　

　　Octoparse是的Windows的提供的免费网页抓取软件。它可以将非结构化或半结构化的数据从网站中转化为一个结构化的数据集，整个过程无需编码，这对于不懂编程的人来说是十分有用的。

　　6. CrawlMonster

　　

　　CrawlMonster是网站搜索引擎优化的一个免费的网路软件，它还能扫描各类不同的数据点的网站。

　　7.内涵

　　

　　Connotate提供自动化网路数据抓取解决方案，你只须要提供一个信息类型的模板，Connotate就可以为你手动抓取你想要的数据。

　　8.常见爬网

　　

　　Common Crawl提供抓取网站的公开数据集。它收录原创的网页数据，提取的元数据和文本信息。

　　9.抓狂

　　

　　痒痒提供数据手动转换服务，能够将网页中的各类类型的数据转换成JSON或CSV格式的结构化数据。

　　10.内容抓取器

　　

　　Content Grabber是面向企业的网页抓取软件，它容许你创建一个独立的网页抓取代理。

　　11. Diffbot

　　

　　Diffbot是一款可以将结构化的数据手动生成为API的一款软件，对于开发者来说它是不错的工具。

　　12. Dexi.io

　　

　　Dexi.io是一款专业的数据抓取软件，它同时提供数据清洗。这将是处理JavaScript的的最佳选择。

　　13.数据推拿工作室

　　

　　Data Scraping Studio是一个免费的网页爬取软件，可以快速抓取HTML，XML和PDF格式的数据，目前PC端只适用于Windows操作系统。

　　14.简单的Web提取

　　

　　Easy Web Extract是用于商业用途的可视化网页抓取软件。该软件的奇特功能是HTTP表单递交。

　　15. FMiner

　　

　　fminer是一款可视化网页抓取软件，它容许你构建项目的宏记录，方便日后查询调用。