网络矿工数据采集软件 V5.3

　　网络矿工数据采集软件 V5.3

　　【基本介绍】 网路矿工数据采集软件【Sominer】是一套面向专业采集用户的采集软件，其基于Soukey采摘数据采集软件研制，在其基础上扩充了愈发丰富的专业功能，不仅可以进一步满足采集用户的需求，同时也扩充了采集应用范围。同时【一孑工作室】也为网路矿工数据采集软件提供了专业的技术支持及售后服务。【一孑工作室】将最大化的保障您的软件使用利益。需Microsoft .NetFramework2.0环境。【软件功能】1、多任务、多线程，支持一个任务运行多个实例； 2、支持图片、Flash及文件下载；下载并不支持多线程处理，所以，也不建议采用此软件构建专业的下载任务；3、网址配置支持参数订制，及外部字典参数；通过字典方法可扩充自定义的参数值；4、支持Cookie、POST采集；可记录Cookie，采集需要登入的网站数据，也可通过手工登陆进行采集；5、支持导航、自动翻页；可进行网址导航，譬如：通过新闻列表采集新闻内容；支持多层导航；6、可采集Ajax数据；7、采集数据临时储存、断点续采；临时储存数据格式为XML；8、支持数据导入，文件、数据库；数据库支持Access、MS Sql Server、MySql，文件支持文本文件和Excel；数据导入支持手工和手动，手工导入仅支持文件方式；9 、在线数据发布；支持在线数据发布，数据发布支持Cookie；10、数据采集支持采集数据加工；可对采集数据进行字符串替换、截取、附加等操作，可手动清除网页符号，支持正则；11、支持任务计划；可定时执行任务，最小间隔为：0.5小时；12、支持任务触发器；可触发Soukey采摘任务、数据库储存过程及可执行文件，支持采集完成及发布完成触发；13、提供网址编/解码工具；支持UTF-8、GB2312、GBK、Big5；14、提供Mini浏览器；可用于Cookie及POST数据的捕获；15、支持英文繁体；16、直接入库；可将采集的数据直接存入数据库，利用此种方法，系统可采集成百上千万条数据，而不影响系统性能。

　　数据库支持Access、MS Sqlserver及MySql。17、采集数据输出数据多种规则加工；对采集数据可实现多种数据加工规则的应用，通过此方式，可以愈发灵活的采集到须要的数据内容。譬如：采集到文章之后，可以通过清除网页标示，去除原有文章格式，再通过字符串替换，可以重点显示您须要显示的关键字或文章段落。此过程一次性完成，无需再进行后期数据加工。18、提供数据加工模块；可对采集数据灵活的进行数据更改，调整表结构，然后再进行数据发布操作。同时还可借助此功能实现*敏*感*词*；26、增加自定义导航规则处理；大部分导航都是由可辨识的Url进行的，但也存在特殊情况，譬如：是由递交表单来完成，针对此种情况采用此功能可实现对导航规则的处理；