网页数据抓取工具

优采云 发布时间: 2020-08-26 19:36

  网页数据抓取工具

  数据导入

  蓝鲸可视化数据采集软件支持多个格式的数据导入(发布),包括TXT、CSV、Excel、Access、MySQL、SQLServer、SQLite以及发布到网站接口(Api)。

  

  导出方法有2种:

  

  

  在数据导入后,会被标记为已导入,在上次导入时,不会再导入。 如果想要导入全部数据,而不分辨已导入,可以在查看数据中选择导入全部。

  导出到Excel、CSV、TXT

  可以将数据导入到Excel、CSV、TXT文件中,每次导入将会生成新的文件。 软件支持对导入的文件名设置变量,目前有2种格式变量,按照任务名和日期格式。

  

  导出到网站接口(API)

  支持主流CMS网站系统,比如Discuz、帝国CMS、Wordpress、DEDE CMS、PHP CMS,官方可以提供插口文件(API)。

  对于开发人员,可以自己定义网站API,蓝鲸可视化数据采集软件的通过HTTP POST恳求将数据发送指定的API,设置对应的POST(application/x-www-form-urlencoded)参数、编码类型即可

  

  POST示例参考

  POST http://www.example.com HTTP/1.1 Content-Type: application/x-www-form-urlencoded;charset=utf-8 title=example_title&content=example_content&channel=2

  导出到数据库

  目前采集器支持导入到MySQL、SQLServer、SQLite、Access四种数据库,设置好数据库的联接配置,指定导入的目标表名称。

  

  同时,可以设置本地的任务数组与目标数据库数组之间的映射关系(对应关系)

  字段映射

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线