有什么不错的爬虫软件是可以免费爬取网页数据的?
优采云 发布时间: 2020-08-26 00:31有什么不错的爬虫软件是可以免费爬取网页数据的?
这里介绍2个不错的爬虫软件—Excel和优采云,对于规整的静态网页来说,使用Excel就可以爬取,稍微复杂一些的网页,可以使用优采云来爬取,下面我简单介绍一下这2个软件,主要内容如下:
Excel
Excel大部分人都应当使用过,除了日常的数据统计处理外,也可以爬取网页数据,下面我简单介绍一下爬取过程,主要步骤如下,这里以爬取PM2.5数据为例:
1.首先,新建一个Excel文件并打开,依次点击菜单栏的“数据”->“自网站”,如下:
2.接着,在弹出的“新建Web查询”对话框中输入须要爬取的网址,点击“转到”,就会加载出我们须要爬取的网页,如下:
3.之后,点击右下角的“导入”按钮,选择须要储存数据的工作表或新建工作表,点击“确定”按钮,就会手动导出数据,成功导出后的数据如下:
4.这里假如你须要定时刷新数据,可以点击菜单栏的“属性”,在弹出的对话框中设置刷新频度,就可定时刷新数据,如下:
优采云
这是一个专门用于采集数据的爬虫软件,简单好学,容易把握,只须要设置一下页面要爬取的元素,就可以手动爬取数据,并且可以保存为Excel或导入数据库,下面我简单介绍一下这个软件的安装和使用:
1.下载安装优采云,这个直接到官网上下载就行,如下,直接点击下载安装就行:
2.安装完成后,打开这个软件,在主页面中点击“自定义采集”,如下:
3.接着在任务页面中输入须要爬取的网页地址,如下,这里以爬取大众点评数据为例:
4.点击“保存网址”,就能手动打开网页,如下:
5.接着,我们就可以直接选定须要爬取的标签数据,如下,按着操作提示一步一步往下走就行,很简单:
6.设置完成后,直接点击“启动本地采集”,就能手动开始爬取数据,成功爬取后的数据如下,就是我们刚刚设置的标签数据:
7.这里点击“导出数据”,可以将爬取的数据导入为你须要的格式,如下,可以是Excel、CSV、数据库等: