【智能模式】【流程图模式】如何配置采集任务

优采云 发布时间: 2020-08-25 18:23

  【智能模式】【流程图模式】如何配置采集任务

  在编辑任务界面,点击右下角“开始采集”按钮,跳转到任务启动界面,我们可以在任务启动界面对任务进行配置。

  

  1、定时启动

  定时启动功能包括循环采集和定时采集,其中循环采集是根据一个固定的时间间隔(从前一次任务停止到下一次任务启动),循环启动采集任务;定时采集是根据设置的时间周期,循环启动采集任务。

  更多详情内容,请参考以下教程:

  如何设置定时采集

  

  2、智能策略

  智能策略设置收录代理设置、智能切换设置、手动切换设置,更多详情内容,请参考以下教程:

  如何设置智能策略

  

  

  3、自动导入

  通过使用该功能,可以实现在采集数据的过程中手动导入采集结果到本地文件和数据库,不需要等到任务运行结束后自动导入数据。

  更多详情内容,请参考以下教程:

  如何设置手动导入

  

  4、文件下载

  软件支持在采集的过程中下载文件,文件类型包括:图片、音频、视频、文档及其他文件,用户可以选择保存路径,并且依照规则创建独立文件夹或重命名下载的文件。

  更多详情内容,请参考以下教程:

  如何设置文件下载

  

  5、加速引擎

  加速引擎功能可以对采集任务进行加速,加速疗效和网页加载速率以及采集任务的设置有关,通常可以达到3~10倍的加速疗效。

  更多详情内容,请参考以下教程:

  如何使用加速引擎

  

  6、数据去重

  数据去重功能是指在任务采集过程中,将当前采集的数据与早已采集的数据进行对比,如果发觉数据重复,就按照设置条件进行处理。

  如果当前任务中保存的数据越多,去重比较过程就越慢,因此开启此项功能会导致采集速度变慢,大家请慎重使用。

  更多详情内容,请参考以下教程:

  如何设置数据去重

  

  7、开发者设置

  优采云采集器支持Webhook功能,通过使用该功能,优采云采集器可以将采集到的数据发布到HTTP地址。

  更多详情内容,请参考以下教程:

  如何设置Webhook功能

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线