解决方案:自动采集子系统采集出来的数据包是怎么回事?

优采云 发布时间: 2022-10-14 09:17

  解决方案:自动采集子系统采集出来的数据包是怎么回事?

  自动采集子系统采集出来的数据包是不能做其他用途的,一个是误报率太高,第二个就是收费会很高。最开始做自动化那几年,有一家公司,和一家中国食品科学研究院搞的。他们有个技术人员专门做采集子系统的,再将数据转化成图片,做营销推广。结果因为误报率太高,把大家调戏的不要不要的。国内能做研发的人少,一些没有底线的那不是推销,就是靠忽悠。

  

  这个事情算是落入了我的知识盲区。等我能看懂采集子系统是怎么回事,应该已经有很大的进步了。这不是我会写代码就能解决的问题。

  

  貌似有不少,经验总结起来有以下几种:1,做代码的人采集失败率太高,这事儿并非不可控。2,数据量不大,又不愿使用能带来额外收益的中间件,比如常见的bdb或者b+树,他们又不愿意增加带宽和成本。3,某些子系统设计本身对采集的性能要求非常高,否则无法满足,例如很多地方的zookeeper4,多个子系统并发时,总有一个很慢。

  或者某些子系统失效,甚至有的能带来业务量上不去的错觉。大公司的采集子系统都是分步做的,也许是以上任何一步发现带来的性能问题造成的采集失败次数太多,如果多步再让某个系统完成带来后面问题就好了。比如一个很重要的子系统在用一种既成中间件,但是没有明确界定失效标准,无法判断什么时候换掉它以保证业务量不受影响。这个时候所有子系统都是并发的,这是有意义的。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线