内容采集系统(基于.NET编写的多线程信息采集系统(使用前必须安装))

优采云 发布时间: 2021-09-14 00:03

  内容采集系统(基于.NET编写的多线程信息采集系统(使用前必须安装))

  【基本介绍】

  NiniDown是一个基于.NET的多线程信息采集系统(使用前必须安装.NET框架2.0)。通过直观的规则制定,模拟不同浏览器的提交行为,可以轻松抓取浏览器中看到的信息,通过在线发布工具或数据库存储工具将信息发布到自己的网站. 灵活的规则制定和强大的分页处理和标签定义、任务调度、数据库支持Access、Mysql、MSsql和其他功能将有效地节省您的宝贵时间并使工作更轻松...

  [软件功能]

  支持多任务和多线程:可以同时执行多个采集任务,每个任务可以使用多个线程,采集速度快。

  支持SSL协议,网页以采集开头(1.3以后的版本)

  支持挂起任务的功能,方便以后采集(1.2以后的版本)使用。

  支持表格内容采集,每行数据单独存入数据库(1.2及以后版本)。

  支持多层导航技术:可以跨层采集,分页采集,分页内容可以合并为一条记录。

  支持采集内容可以多表、跨表存储;可与关键词关联,自动整合成完整记录。

  支持历史记录功能,方便增加采集,避免重复采集。 (免费版不支持)

  支持固定时间,间隔采集,所有任务完成后自动关机。

  支持网站login采集,可以采集需要登录才能看到页面。

  支持普通、POST、脚本链接采集。函数生成的页面地址也可以是采集,参数支持四种算术表达式计算(1.2及以后版本)。

  支持 POST 数据和 Cookie 捕获。可以通过内置浏览器捕获特殊的cookies,比如HttpOnly类型的ASP.NET_SessionId,方便创建下载发布规则。

  支持内容文件下载,可以对内容中的图片、Flash、附件(常见文件类型)进行解压下载。

  支持分块、压缩(gzip、deflate)数据流下载。

  支持采集链接,文件链接筛选功能,标记下载的内容,替换文字。

  支持模拟提交,源码查看(同网络在线发布),方便测试采集规则。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线