对于一个每天必须处理最少“2-3tb”数据的业务用例,我在分析“hadoop&storm”。毋庸讳言,“风暴”看起来令人印象深刻,因为它在处理传入的大数据的效率,但我不确定“风暴”是否有足够的能力来处理“太字节”的数据,同时提供给我实时的结果与否?有人能解释一下吗?谢谢,加詹德拉
4dc9hkyq1#
storm是由twitter开发的。他们每天用它处理超过8 tb的数据。听起来这对你的案子来说已经足够了。afaikstorm是分布式计算中最好的流/实时系统。hadoop不适合它,因为作业启动时间和流数据的本机处理方式都不适合它。事实上,当您有足够的服务器电源和存储空间时,两者都可以每天处理您想要的数据。
1条答案
按热度按时间4dc9hkyq1#
storm是由twitter开发的。他们每天用它处理超过8 tb的数据。听起来这对你的案子来说已经足够了。afaikstorm是分布式计算中最好的流/实时系统。hadoop不适合它,因为作业启动时间和流数据的本机处理方式都不适合它。
事实上,当您有足够的服务器电源和存储空间时,两者都可以每天处理您想要的数据。