利用采集器 采集的平台(爬虫实战：利用软件采集招聘信息(一)(基于优采云和优采云采集器))

　　利用采集器 采集的平台(爬虫实战：利用软件采集招聘信息(一)(基于优采云和优采云采集器))

　　爬虫实战：使用软件采集Job Information（一)

　　（基于优采云和优采云采集器software-easy mode采集）

　　一、什么是爬虫

　　网络爬虫（也称为网络蜘蛛、网络机器人，在 FOAF 社区中，更常见的是网络追逐）是根据某些规则自动抓取万维网上信息的程序或脚本。其他不常用的名称包括蚂蚁、自动索引、模拟程序或蠕虫（百度复制粘贴内容^^）。

　　说白了，爬虫就是利用工具来抓取网页上的内容（数据、文字、图片等）。是不是觉得写论文找资料不仅仅是翻阅年鉴……爬虫工具除了python（手写代码）等编程语言，还有采集通过一些第三方软件（比如如优采云、优采云采集器、优采云采集器 等）。至于自己写代码的方式，我会在文章中介绍。本文从基础介绍软件傻瓜式crawler的使用。这个方法已经可以满足采集的大部分需求了，只是拖拽也不容易。

　　二、优采云采集器 和优采云简介

　　这两个采集器是笔者认为目前市面上比较优秀的两个采集软件。 优采云采集器是原谷歌搜索技术团队基于人工智能技术开发的新一代网页采集软件。该软件功能强大且易于操作。可谓是居家旅行的随身神器。 优采云大数据采集是一个集网页数据采集、移动互联网数据和API接口服务（包括数据爬虫、数据优化、数据挖掘、数据存储、数据备份）等为一体的自主研发平台服务。数据服务平台连续4年位居互联网Data采集software榜单第一。两款软件的采集模式基本相同，主要有两种：智能模式采集或简单采集，自定义模式采集。本期主要介绍智能模式采集或简单采集。

　　三、简单模式

　　(1)优采云采集器

　　软件下载地址：至于如何安装软件，一直是下一步。

　　优采云采集器的智能模式采集只需将您要抓取的页面放入网址框，软件就会自动识别您可能需要抓取的内容。我们直接来看例子。比如要爬取某所大学的就业信息（以北大为例），北大就业指导服务中心的网址是!recruitList.action?category=1（不知道后面看到的，不管是无效还是反爬虫，反正我能用，能用，能用。

　　1.打开软件，选择智能模式

　　2.在右边的框中输入抓取网址

　　3.点击下方立即创建，可以看到软件自动识别出需要抓取的内容

　　4.点击启动采集并启动，软件会自动采集当前页面信息并翻页。

　　5.software is crawling...（注意：由于没有选择深度爬取，所以只会爬取当前页面，链接中不会访问到具体信息）

　　6.因为内容的原因，作者选择了强制结束。最后导出文件，可以选择导出excel格式。

　　7.最终的excel数据如下

　　(2)优采云

　　软件下载地址：。 优采云简单方便，软件自带了很多常用的网站和数据模板，如下图：

　　比如要抓取百星网的招聘信息，在百星网选择要爬取的职位，复制链接（以示例为例）。

　　1.点击人脉模板，选择并点击采集

　　2.输入网址，翻页次数

　　3.选择开始local采集

　　4.可以看到正在抓取数据

　　5.最终爬取的数据可以导出

　　以上是本期内容：关于优采云采集器和优采云采集器的简单模式采集。下一期我们会推送流程图或者自定义采集数据。

　　终于！ ！ ！ ！ ！ ！发送彩蛋解决上一篇提到的问题，在使用优采云采集器时，由于没有深度爬取选项，只会爬取当前页面，链接中无法访问具体信息.

　　因为抓取的数据只是每个链接的标题，所以需要在链接抓取中输入内容。 优采云采集器提供了“depth采集”功能，可以输入链接采集。这里：

　　点击“Depth采集”进入页面，即最外层链接里面的内容。这时候下面会抓取这个页面的内容。点击开始采集到采集每个标题链接中的内容。

　　欢迎关注（数据皮皮下）