LocoySpider V9.13.20200325正式版
优采云 发布时间: 2020-08-06 01:02Youcai Cloud Collector是一个非常强大的数据采集器. 它完美支持所有编码格式的网页采集. 该程序还可以自动识别网页编码. 它还支持当前所有主流和非主流CMS,BBS等. 网站程序通过系统的发布模块,可以实现采集器和网站程序之间的完美结合.
功能介绍
1. 强大的*敏*感*词*性
无论新闻,论坛,视频,黄页,图片,下载网站如何,只要可以通过浏览器看到的结构化内容,通过指定匹配规则,就可以采集所需的内容.
2,稳定高效
五年磨一剑,软件不断更新和完善,采集速度快,性能稳定,资源少.
3. 强大的可扩展性和广泛的应用范围
自定义Web发布,主流数据库的自定义存储和发布,自定义本地PHP和. Net外部编程接口处理数据,以便您可以使用数据.
4. 支持所有网站编码
它完美地支持所有编码格式的网页的采集,并且该程序还可以自动识别网页编码.
5. 多种发布方式
支持当前所有主流和非主流CMS,BBS等网站程序,并且可以通过系统的发布模块实现采集器和网站程序的完美结合.
6,全自动
无人看管的工作. 配置该程序后,该程序将根据您的设置自动运行,而无需人工干预.
7. 本地编辑
对采集的数据进行本地可视化编辑.
8. 采集测试
这是同类其他采集软件所无法比拟的. 该程序支持直接查看采集结果以及测试和发布.
9. 便捷的管理
使用站点+任务方法来管理采集节点,任务支持批处理操作,甚至更容易进行数据管理.
软件功能
1. 规则自定义
通过采集规则的定义,您可以搜索所有网站以采集几乎任何类型的信息.
2,多任务,多线程
可以同时执行多个信息采集任务,每个任务可以使用多个线程.
3. 所见即所得
您所看到的就是您在任务采集过程中所获得的,并且在此过程中遍历的链接信息,采集信息和错误信息将及时反映在软件界面中.
4. 数据保存
数据在采集时自动保存到关系数据库中,并且数据结构可以自动调整. 该软件可以根据采集规则自动创建数据库以及其中的表和字段,还可以通过导入数据库的方式灵活地将数据保存给客户. 在现有的数据库结构中.
5. 在断点处继续挖掘
信息采集任务在停止后可以继续从断点采集,因此您不必担心采集任务会意外中断.
6. 网站登录
支持网站cookie,支持网站可视登录,甚至可以在登录时需要验证码的网站进行采集.
7. 预定任务
通过此功能,您可以使采集任务定期,定量或循环执行.
8. 采集范围限制
可以根据采集的深度和网站的标识来限制采集范围.
9. 文件下载
您可以将采集的二进制文件(例如图片,音乐,软件,文档等)下载到本地磁盘或采集结果数据库中.
10,结果替换
您可以使用规则定义的内容替换采集的结果.
11. 条件保存
您可以根据某些条件决定要保存和过滤哪些信息.
12. 过滤重复的内容
该软件可以根据用户设置和实际情况自动删除重复的内容和URL.
13. 特殊链接识别
使用此功能可以识别由JavaScript动态生成的链接或其他怪异链接.
14. 数据发布
您可以通过自定义界面将采集的结果数据发布到任何内容管理系统和指定的数据库. 当前支持的目标发布媒体包括: 数据库(访问,SQL Server,我的SQL,Oracle),静态htm文件.
15. 保留的编程接口
定义多个编程接口,用户可以在事件中使用PHP,C#语言进行编程,扩展采集功能.
菜单功能
1. 创建一个新组
创建一个任务组,选择它所属的组,然后确定组名和备注.
2,创建一个新任务
确定您所属的组,创建一个新任务,填写任务名称并保存.
3,Web发布配置
Web发布配置定义了如何登录到网站以及如何向网站提交数据.
主要涉及获取登录信息,网站编码设置,获取列列表以及使用数据测试发布效果.
4. 网络发布模块
您可以定义网站登录名,获取列列表,获取网页的随机值,内容发布参数,上传文件,构造发布数据和其他高级功能.
5. 数据库发布配置
数据库发布配置定义了数据库链接信息的设置和数据库模块的选择.
6. 数据库发布模块
用于编辑数据库的发布模块,以便我们可以将数据发布到已配置的数据库.
优采云采集器可以选择mysql,sqlserver,oracle,访问四种数据库类型,在文本输入框中填写sql语句
(需要数据库知识),并且可以使用标签替换相应的数据. 您还可以在采集器模块文件夹中加载模块以进行编辑.
7. 预定任务
在列表中设置采集任务的启动计划,该计划可以是每个时间间隔,每天,每周,仅一次或自定义cron表达式,
(有关cron表达式的编写,请参阅相关术语中的简介). 保存设置后,可以根据设置执行任务.
8. 插件管理
该插件是一个程序,可用于扩展优采云采集器的功能
Youcai Cloud Collector V9支持三种插件: PHP源代码,C#源代码和C#库.
可用于扩展http请求,内容处理和文件下载的功能,并可单独进行测试.