网页数据抓取工具
优采云 发布时间: 2020-08-26 19:36网页数据抓取工具
数据导入
蓝鲸可视化数据采集软件支持多个格式的数据导入(发布),包括TXT、CSV、Excel、Access、MySQL、SQLServer、SQLite以及发布到网站接口(Api)。
导出方法有2种:
在数据导入后,会被标记为已导入,在上次导入时,不会再导入。 如果想要导入全部数据,而不分辨已导入,可以在查看数据中选择导入全部。
导出到Excel、CSV、TXT
可以将数据导入到Excel、CSV、TXT文件中,每次导入将会生成新的文件。 软件支持对导入的文件名设置变量,目前有2种格式变量,按照任务名和日期格式。
导出到网站接口(API)
支持主流CMS网站系统,比如Discuz、帝国CMS、Wordpress、DEDE CMS、PHP CMS,官方可以提供插口文件(API)。
对于开发人员,可以自己定义网站API,蓝鲸可视化数据采集软件的通过HTTP POST恳求将数据发送指定的API,设置对应的POST(application/x-www-form-urlencoded)参数、编码类型即可
POST示例参考
POST http://www.example.com HTTP/1.1 Content-Type: application/x-www-form-urlencoded;charset=utf-8 title=example_title&content=example_content&channel=2
导出到数据库
目前采集器支持导入到MySQL、SQLServer、SQLite、Access四种数据库,设置好数据库的联接配置,指定导入的目标表名称。
同时,可以设置本地的任务数组与目标数据库数组之间的映射关系(对应关系)
字段映射