NETSpider网站数据采集软件

优采云 发布时间: 2020-08-10 19:29

  NETSpider网站数据采集软件是一款基于.Net平台的开源软件。

  软件部份功能是基本Soukey软件进行开发的.这个版本采用VS2010+.NET3.5进行开发的.

  NETSpider采摘当前提供的主要功能如下:

  1.多任务多线程数据采集,支持POST方法(待定);

  2.可采集Ajax页面;

  3.支持Cookie,支持手工登陆采集数据;

  4.支持采集事务;

  5.支持数据手动及手工导入,导出格式为:文本、Excel、Access、MSSql、Mysql等;

  6.支持在线发布数据;

  7.支持导航网址的采集,导航深度不限;

  8.支持手动翻页;

  9.支持文件下载,可以采集图片、Flash及其他文件;

  10.支持采集结果数据的加工,包括替换、附前缀后缀、截取等操作,支持正则;

  11.采集网址定义除了支持基本参数定义,也可外接字典数据作为网址参数,进行数据采集;

  12.支持一个任务多实例运行;

  13.提供计划任务,计划任务支持NETSpider采集任务、外部可执行文件任务、数据库储存过程任务(还在开发中);

  14.计划任务执行周期支持每晚、每周及自定义运行间隔;最小单位为:半小时;

  15.支持任务触发器,即可在采集任务完成后,自动触发执行其他任务(包括可执行文件或存储过程)。

  16.完善的日志功能:系统日志、任务执行日志、出错日志等等;

  17.系统提供MINI浏览器可用于捕获Cookie或POST数据;

  NETSpider采集器并不限制您是否商用此软件,源码完全开放,

  ===================以下为更新内容===================================

  1.NETSpider于2014年10月1日开放

  相关下载:

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线