flume或kafka的mongodb等价物

mkshixfv  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(334)

在hadoop世界中,flume或kafka用于流式传输或收集数据并将它们存储在hadoop中。我只是想知道mango db是否有一些类似的机制或工具来实现这些功能?

wsxa1bj1

wsxa1bj11#

尽管flume经常被用作hadoop生态系统中的一员,但将其与其他源/汇一起使用并非不可能。mongodb也不例外。事实上,flume足够灵活,可以扩展以创建自己的自定义源/汇。以这个项目为例。这是一个定制FlumemongoFlume。

gudnpqoy

gudnpqoy2#

mongodb只是数据库层,而不是hadoop生态系统那样的完整解决方案。实际上,我使用kafka和storm在mongodb中存储数据,以防有非常大的传入数据流需要处理和存储。

相关问题