web前端和hadoop关系不大,web应用的大数据处理
优采云 发布时间: 2021-08-04 23:02web前端和hadoop关系不大,web应用的大数据处理
采集工具很多,api服务器端的,cpu资源都是守恒的;与其最后几百万的数据库压力,最好还是做数据结构化处理,复杂维度的hadoop结合更有效,至于你的问题最好还是调研下智能分析的问题,
这种业务其实很普遍的。他们应该用到一些其他东西去实现,比如信息安全的原理。
web前端和hadoop关系不大,你自己考虑用hadoop的哪些组件,做出哪些设计,如果数据量小的话,可以用hadoop下的spark,后期如果再做pb数据,那就用自己写的那些组件,很容易结合hadoop和tensorflow的,记得用es2015,可以用js加载,而不是使用flask作为前端开发组件。
直接上tensorflow做数据分析是不错的想法,但得学习一些机器学习算法,所以建议你放到工业界,做大数据系统规划建设或者用在大数据项目里,而不是做一个个不相关的小项目。
web应用的大数据处理目前开源社区很少有比较好的资料,需要看实际业务需求和你掌握的技术实现成熟度。hadoop大数据框架本身开源项目是很成熟的了,直接拿来用,如果你想更深入的了解hadoop的大数据处理机制,学习掌握各种算法,resilio,phoenix等等redis之类消息队列机制hbase等做存储,hive做分析有关算法,并且搞透,深入挖掘业务的痛点场景和数据结构。
学好机器学习,python,paddle等语言,numpy,spark等做数据中间层处理有关大数据的开发,使用spark,hive等hadoop集群,与大数据分析结合来做相关业务分析和决策。