我正在学习ApacheFlink,对此印象深刻。那里使用的数据处理技术令人兴奋,让我心碎:)
但我现在所处的位置是混合的溪流和批次。我的意思是。我有一个流处理程序,它接收一些数据。例如,此数据是命令。为了处理这样的命令,我需要对数据库(hbase或mongo)进行查询,当然查询取决于命令。数据库非常庞大(数TB)。hbase和mongo都允许通过mapreduce进行并行操作,使用它会很好。在一系列请求之后,一些并行计算被暗示,最终将结果发送到接收器。
那么,如何才能以最好的方式解决呢?我应该在flatmap中进行standart数据库查询还是使用dataset/stream?
暂无答案!
目前还没有任何答案,快来回答吧!