优采云采集器是一款专业的功能强大的网络数据/信息挖掘软件
优采云 发布时间: 2021-05-17 18:21优采云采集器是一款专业的功能强大的网络数据/信息挖掘软件
优采云 采集器是一款专业而强大的网络数据/信息挖掘软件。通过灵活的配置,您可以轻松地从网页中获取文本,图片,文件和其他资源。该程序支持图片文件的远程下载,登录采集后支持网站信息,支持检测文件的真实地址,支持代理,支持采集用于防盗链,支持采集直接数据存储以及由模仿者手动发布等。许*敏*感*词*。
支持从任何类型的网站 采集中获取您所需的信息,例如各种新闻网站,论坛,电子商务网站,求职网站等。同时,它具有强大的网站登录名采集,多页和分页采集,网站跨层采集,POST 采集,脚本页面采集,动态页面采集和其他高级采集]功能。强大的php和c#插件支持使您可以通过二次开发来实现所需的任何更强大的功能。
[功能介绍]
1、规则自定义-通过采集规则的定义,您可以搜索几乎所有网站 采集类型的信息。
2、多任务,多线程-多个信息获取任务可以同时执行,并且每个任务可以使用多个线程。
3、所见即所得-任务采集所见即所得。在此过程中遍历的链接信息,采集信息,错误消息等将及时反映在软件界面中。
4、在采集时,数据存储数据自动保存到关系数据库中,并且可以自动调整数据结构。该软件可以根据采集规则或通过灵活的数据库引导方式自动创建数据库以及其中的表和字段。将数据保存到客户现有的数据库结构中。
5、断点继续采集-信息采集任务可以在断点采集停止后从断点恢复,从现在开始,您不必担心采集任务会意外中断。
6、 网站登录支持网站 Cookie,支持网站可视登录,即使网站在登录时需要验证码也可以是采集。
7、计划任务-此功能使您的采集任务可以定期,定量或循环执行。
8、 采集范围限制-可以根据采集的深度和URL的徽标来限制采集的范围。
9、文件下载-可以将采集中的二进制文件(例如图片,音乐,软件,文档等)下载到本地磁盘或采集结果数据库中。
1 0、结果替换-您可以根据规则用您定义的内容替换采集的结果。
1 1、有条件保存-可以根据特定条件决定要存储和过滤哪些信息。
1 2、过滤重复的内容-该软件可以根据用户设置和实际情况自动删除重复的内容和重复的URL。
1 3、特殊链接识别-使用此功能可以识别由JavaScript动态生成的链接或其他怪异链接。
1 4、数据发布-您可以通过自定义界面将采集的结果数据发布到任何内容管理系统和指定的数据库。当前支持的目标发布媒体包括:数据库(访问,SQL Server,我的SQL,Oracle),静态htm文件。
1 5、保留的编程接口-定义多个编程接口,用户可以在事件中使用PHP,C#语言进行编程,并扩展采集功能。
[软件功能]
1、*敏*感*词*性
无论新闻,论坛,视频,黄页,图片,下载网站,只要可以通过浏览器看到的结构化内容,通过指定匹配规则,就可以采集来获取内容需要。
2、稳定高效
五年磨一剑,该软件不断更新和完善,采集快速,稳定的性能,并占用更少的资源。
3、强大的可扩展性和广泛的应用范围
自定义Web发布,自定义主流数据库的保存和发布,自定义本地php和.net外部编程接口以处理数据,以便您可以使用这些数据。
[更新日志]
V 9. 9. 0
1、优化效率并解决运行大量任务时卡住的问题
2、解决了使用大量代理时配置文件被锁定且程序退出的问题
3、解决了在某些情况下无法连接mysql的问题
4、其他界面和功能优化