云采集免费(如何查看/管理账号下的云采集节点,优化分配策略)
优采云 发布时间: 2021-09-06 00:18云采集免费(如何查看/管理账号下的云采集节点,优化分配策略)
本教程将介绍企业版包,讲解如何查看/管理账号下的云采集节点,优化分配策略,提高采集的效率。
一、企业版基础介绍
企业版是优采云SaaS 版本中最高的版本。企业版在特定集群中,云节点数量固定,通常为30个或100个,专为有企业级数据采集需求的客户设计。
旗舰/旗舰+版本在公共集群中,节点数波动。所有旗舰/旗舰+用户共同争夺节点使用权。
二、企业版可以手动调整每个任务的云节点数量
对于企业版账号下的每个任务,云采集可用的最大节点数默认为2个(即每个任务最多可以同时有2个采集云节点)。
我们可以手动调整分配给每个任务的云节点数量,以更合理有效地利用云节点。例如,为紧急任务分配更多的云节点,提高任务的优先级,以便在更短的时间内完成紧急任务数据采集。
调整后的节点数长期有效,重启或复制/导入导出任务时无需重新设置节点数。
1、cloud 节点分发入口
节点数调整位置有三个:客户端任务列表、官网用户中心、团队协作管理平台。
一个。客户端中的任务列表(推荐)
点击【我的任务】进入任务列表。找到最右边的【更多操作】,点击【...】,将鼠标移动到【云采集】,然后移动到【分配资源】,然后点击。
最后,在弹出窗口中设置任务的最大可用节点。
B.官网用户中心
登录官网,进入用户中心,点击【任务与云节点管理】跳转到任务管理页面。找到需要调整的任务,点击【修改】,然后在弹窗中修改云节点数。
c.团队协作管理平台
团队协作管理平台的操作权限默认关闭。如有需要,您可以免费找到对接业务和独家技术支持。团队管理平台登录入口:操作说明:
登录团队协作管理平台后,点击【任务管理】进入任务列表。找到最右边的【更多操作】,点击【...】,将鼠标移动到【云采集】,然后移动到【分配资源】,然后点击。
最后在弹窗中设置任务的任务占用节点。
2、Cloud 节点分配原则
根据cloud采集加速原理可知,可以将任务划分为子任务越大,可以同时执行cloud采集的云节点越多,采集速度越快将会。在实际采集过程中,账户中的云节点数量是有限的,即云采集的速度主要取决于采集当前的子任务数量。值越大,采集越快。
如何查看每个任务正在运行的子任务数量?
通过cloud采集live功能可以查看子任务的拆分和操作:
我如何知道帐户正在运行的云节点数量?
在【我的任务】界面,过滤掉【cloud采集status】中的所有【running】任务,依次查看每个任务的cloud采集实况,然后设置每个任务的【running】任务task ] 添加子任务数,得到当前时间账户中采集数据的云节点数。
云节点分配原理:
一个。最大可用节点数不大于任务的拆分子任务数。如果拆分子任务的默认数量为 10,则最多可以同时使用 10 个云节点。即使分配了 20 个,也不会全部使用。多余的节点会自动分配给其他任务。
B. Yun采集的实际运行速度取决于运行子任务的数量。比如一个任务的最大可用节点数为5,运行子任务数为5,等待子任务数为0。此时无法通过调整采集来提高任务的速度可用节点的最大数量。因为任务的所有子任务都已经启动采集。但是如果运行的子任务数是5,等待的子任务数是7,这个时候希望能跑的快一些,可以调整最大可用节点数。此时调整为12(云节点占用的账户节点数)。
原因:实际上该节点已经被占用。但是由于子任务分配节点的时间比节点完成采集的时间要长,查询的瞬间就会出现节点不满意的错觉。
比如任务A的每个子任务只需要10秒就可以完成采集,但是每个子任务分配到云节点并启动需要20秒。因此,在查询的时刻,采集中的节点较少,分配并启动的节点较多。而我们的【运行中子任务数】只是查询显示采集的进程,不会查询那种类型的分配和启动。所以看起来节点不满意。
2、启动cloud采集后,在[running]中没有看到这个任务。
原因①:检查速度太快。任务启动后,服务器需要先对任务进行预处理,判断是否可以拆分,如果可以拆分则执行拆分程序,然后分配云节点执行子任务。这些过程需要一些时间。如果立即查看它们,则在[Running] 中不会看到它们,但在[Waiting to run] 中可以看到它们。过一会就可以在【运行】中查看了。
原因②:检查来不及了,任务已经完成采集。这时候可以在【完成】中查看。