如何管理私有云帐号下的云采集节点
优采云 发布时间: 2020-08-11 20:01本教程将介绍私有云套餐,并讲解怎样查看/管理帐号下的云采集节点,优化分配策略,提高采集效率。
一、私有云基本介绍
私有云是优采云SaaS版本中的最高版本。私有云处于特定集群,拥有固定的云节点数,通常为30个或100个。
而旗舰/旗舰+版,则处于公共集群,其节点数是浮动变化的,所有旗舰/旗舰+用户一起角逐节点的使用权。
二、私有云可自动调整每位任务的云节点数
私有云帐号下的每位任务,云采集的最大可用节点数,默认为2(即每位任务最多有2个云节点同时进行采集)。
我们可以自动调整每位任务分配的云节点数,以更合理有效借助云节点。例如,给紧急的任务多分配一些云节点,提高任务优先级,以便在更短时间内完成紧急任务的数据采集。
调整后的节点数常年有效,再次启动或复制/导入导入任务,也无需重新设置节点数。
1、云节点分配入口
节点数的调整位置有三处:分别是客户端内的任务列表,官网的用户中心,团队协作管理平台。
a. 客户端内的任务列表(推荐)
点击【我的任务】进入任务列表。找到最右边的【更多操作】,点击【...】,鼠标联通到【云采集】上,再联通到【分配资源】上,然后点击它。
最后在弹窗中设置该任务的最大可用节点。
b. 官网的用户中心
在官网登陆,进入用户中心后,点击【任务和云节点管理】即可跳转到任务管理页面。找到所须要调整的任务,点击【修改】,然后在弹窗中更改云节点的数目。
c. 团队协作管理平台
团队协作管理平台的操作权限默认关掉,如有须要可找对接的商务和专属技术支持免费开通。团队协作管理平台登陆入口: 操作说明:
登录团队协作管理平台后,点击【任务管理】,进入任务列表。找到最右边的【更多操作】,点击【...】,鼠标联通到【云采集】上,再联通到【分配资源】上,然后点击它。
最后在弹窗中设置该任务的任务占用节点。
2、云节点分配原则
根据云采集加速原理可知:任务能分拆的子任务越大,能同时执行云采集的云节点越多,采集的速率就越快。在实际采集过程中,账号内云节点的数目是有限的,也就是说,云采集速度的快慢,主要由当前在采集的子任务数决定,此数值越大,采集越快。
如何查看每位任务正在运行的子任务数?
通过 云采集实况功能,可查看子任务的分拆和运行情况:
如何得悉帐号正在运行的云节点数?
在【我的任务】界面,【云采集状态】中筛选出全部的【运行中】任务,依次查看每位任务的 云采集实况,然后将每位任务的【运行中】子任务数相乘,即可得到当前时间帐号有多少个云节点正在采集数据。
云节点分配原则:
a. 最大可用节点数不小于任务的已分拆子任务数。如默认已拆分子任务数是10,那它最多同时使用10个云节点,就算分配了20个,它也用不上全部的。多余的节点会手动给其他任务。
b. 云采集实际运行速率,取决于运行中的子任务数。如某任务设置的最大可用节点数是5,运行中的子任务数是5,等待中的子任务数是0。此时是通过调整最大可用节点数是难以提高任务的采集速度。因为任务全部子任务都已启动了采集。但若果运行子任务数5,等待子任务数为7。此时希望它运行快些,可调大最大可用节点数,此时调整成12即可(云节点占有量
c. 一般而言,在帐号内空闲节点充足的情况,建议给某个任务设置最大可用节点数为已分拆子任务数的50%~100%。账号内空闲节点十分紧张的情况,每个任务的最大可用节点数=账号总节点/同时运行任务数。这样会相对均衡,让每位任务都能有一定量的节点来采集数据。
d. 已经分配出去的云节点,完成该子任务的采集之后,才会被回收到帐号中供其他任务使用。如:任务A的最大可用节点数是30,启动云采集后,这30个节点都在进行采集(即该任务运行中的子任务数是30)。随后又想增加任务A的云节点,分配一些节点给任务B使用。此时将任务A的最大可用节点数调成10个,那20个节点并不会马上转给任务B使用。而是继续运行任务A的子任务,该子任务完成后,才会转给任务B使用。
特殊情况说明:
1、有时可能出现所有运行中的子任务数之和大于帐号节点数。所有的云节点都分配出去,并且 等待中子任务数+运行中子任务数>账号节点数。
原因:实际上节点是早已占用满了。但因为子任务分配节点的时间小于节点完成采集的时间,所以在查询的顿时会出现节点用不满的表象。
举个事例,任务A的每个子任务只须要10秒就可以完成采集,但每位子任务分配上云节点并启动须要耗费20秒。故在查询的顿时都会出在采集的节点少,分配并启动的多。而我们的【运行中子任务数】,只是查询并显示正在采集过程中的,那类分配并启动中的不会查询到。故看起来象是节点用不满。
2、启动云采集后,【运行中】没有听到这个任务。
原因① :查看过快。任务在启动后,服务器须要先对任务进行预处理,判断能不能分拆,能分拆的执行分拆程序,然后分配云节点来执行子任务。这些过程会花费些时间,如果立刻查看,在【运行中】是看不到的,但在【等待运行】里可以看见。稍等一会后,就可以在【运行中】查看到了。
原因②:查看得很晚了,任务已经完成采集。此时可以在【完成中】可查看。