我正在考虑在我的项目中使用apacheflink来处理一些流数据。
不过,有朋友告诉我,Flink可能需要很多公羊。同时,我也发现了同样的事情:https://www.quora.com/what-is-the-difference-between-apache-flink-and-apache-spark
现在我还没有学到很多关于flink的知识,我只是成功地安装了它并运行了wordcount示例。
所以我想知道为什么Flink需要很多公羊。主要原因是什么?flink本身的一些缺点?还是保存历史数据?或者别的什么?
我可以使用redis这样的工具来避免这个问题吗?
1条答案
按热度按时间vecaoik11#
关于quora的答案相当陈旧,缺乏细节。
这完全取决于你所说的“大量记忆”是什么意思。我见过Flink在一堆覆盆子上跑——看到了吗https://hal.inria.fr/hal-02463206/document. 关于这一点的另一个观点,请参见以更低的占用空间扩展flink到边缘计算。
开箱即用的配置被设计成可以很好地跨一系列用例工作。因此,如果您需要将flink压缩到一个资源更加受限的环境中,那么就有一些优化的空间。