自动采集子系统(软件功能云端部署(SkyCaiji),致力于网站数据自动化采集发布 )
优采云 发布时间: 2021-12-20 16:14自动采集子系统(软件功能云端部署(SkyCaiji),致力于网站数据自动化采集发布
)
优采云采集器是一款强大的网页数据工具采集,主要功能是使用采集网页内容,如小说、文章、视频等资料等;这个工具更加强大和灵活。可以进行多级子页面采集及相关页面采集,满足用户对采集数据的各种需求;优采云采集器可以应用于很多领域,比如自媒体、招投标、信息获取等;本工具使用php+mysql开发,可直接部署在用户服务器,轻松对接各类cms系统;通过*敏*感*词*化数据采集功能,用户采集数据更方便。
软件功能
云部署
优采云采集器(天财记),致力于发布网站数据自动化采集,系统采用PHP+Mysql开发,可部署在云服务器上让数据采集 便捷、智能、云端化,让您随时随地移动办公。
数据采集
支持多级、多页、分页采集、自定义采集规则(支持regular、XPATH、JSON等)准确匹配任何信息流,几乎采集所有类型网页,绝对可以智能识别大多数文章类型页面的内容。
内容发布
无缝对接各种cms建站程序,实现免登录导入数据,支持自定义数据发布插件,或直接导入数据库,存储为Excel文件,生成API接口等。
自动化和云平台
软件实现定时、定量、全自动采集发布,无需人工干预!内置云平台,用户可以分享和下载采集规则,发布供需信息,社区帮助和交流。
软件特点
1、您可以使用此工具帮助用户采集网站对网页内容进行处理。
2、用户可以灵活设置采集器的采集规则。
3、这个工具可以满足用户在日常工作中的各种采集需求。
4、您可以采集网页上的各种内容,包括音频、视频和小说。
5、配置方法很简单,默认配置也能满足大部分用户的需求。
6、您可以输入采集规则名称和目标网站代码。
7、页面渲染可以自动加载出ajax内容,适用于js脚本较多的页面。
8、自动补全网址可以将网页中的相对地址转换为绝对网址。
9、 URL 不会被重新输入。默认情况下,已经采集 的内容页面将被重新输入。Non-re-reduction 适用于更新频繁的动态页面。
10、 修改请求头信息,适应需要登录、手机浏览等界面。
安装方法
1、首先在本站下载程序压缩包,下载后解压,上传到自己的服务器,然后打开浏览器输入服务器名和IP地址建立连接,然后就可以输入安装界面。
2、自动检测安装环境,必须保证所有环境正确,否则使用中可能会出现问题。
3、按照提示输入相关信息,点击下一步提交信息。
4、之后,等待采集器安装,安装完成后打开。
指示
1、登录采集器后台后,在页面左侧边栏中勾选“添加任务”选项并进行编辑。
2、然后按照提示在添加任务界面填写相关信息并保存。
3、任务创建完成后,可以在任务底部进度条的采集设置选项中进入编辑界面。
4、您可以切换到“实际页面网址”界面,选择添加起始页。
5、可以添加或修改内容页面URL,支持多级URL获取。
6、多级URL获取方式更适合采集小说和电影。
7、当要抓取的内容不在当前页面,而是在与其关联的页面上时,可以在这里设置关联页面的规则。
8、“添加默认”可以自动设置几个常用字段,可以满足大部分文章类型的网站采集。