免费网页采集器(Soukey采摘网站数据采集软件,支持多任务,多线程,代码开源)
优采云 发布时间: 2021-09-04 10:03免费网页采集器(Soukey采摘网站数据采集软件,支持多任务,多线程,代码开源)
Soukey选择网站数据采集软件网站数据采集software,支持多任务、多线程数据采集,完全免费,代码开源,遵循BSD协议。还提供URL编解码工具,支持UTF-8、GB2312、GBK、Big5,支持简体中文、英文等多种功能。
相关软件软件大小及版本说明下载链接
Soukey选择网站数据采集软件网站数据采集software,支持多任务、多线程数据采集,完全免费,代码开源,遵循BSD协议。它还提供URL编码/解码工具,支持UTF-8、GB2312、GBK、Big5;提供迷你浏览器;可用于Cookie和POST数据的抓取,并支持简体中文和英文等多项功能。非常有用的数据采集工具!
功能介绍
1、Multitasking,多线程,支持一个任务运行多个实例;
2、支持图片、Flash和文件下载;
3、URL 配置支持参数自定义和外部字典参数;
4、支持Cookie,POST采集;
5、支持导航和自动翻页;
6、可采集Ajax 数据;
7、采集临时存储数据,断点持续挖掘;
8、支持数据导出、文件、数据库;数据库支持Access、MS Sql Server、MySql,文件支持文本文件和Excel;数据导出支持手动和自动,手动导出只支持文件格式;
9、在线数据发布;支持在线数据发布,数据发布支持Cookie;
10、数据采集支持采集数据处理;可对采集数据进行替换、截取、追加等操作,可自动去除网页符号,支持常规规则;
11、支持任务规划;任务可以定时执行,最小间隔为:0.5小时;
12、支持任务触发器触发Soukey拣选任务、数据库存储过程和可执行文件,支持采集完成和释放完成触发器;