“风暴”数据处理能力

2q5ifsrm  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(327)

对于一个每天必须处理最少“2-3tb”数据的业务用例,我在分析“hadoop&storm”。
毋庸讳言,“风暴”看起来令人印象深刻,因为它在处理传入的大数据的效率,但我不确定“风暴”是否有足够的能力来处理“太字节”的数据,同时提供给我实时的结果与否?
有人能解释一下吗?
谢谢,加詹德拉

4dc9hkyq

4dc9hkyq1#

storm是由twitter开发的。他们每天用它处理超过8 tb的数据。听起来这对你的案子来说已经足够了。afaikstorm是分布式计算中最好的流/实时系统。hadoop不适合它,因为作业启动时间和流数据的本机处理方式都不适合它。
事实上,当您有足够的服务器电源和存储空间时,两者都可以每天处理您想要的数据。

相关问题