在apache flink中,在节点之间共享数据集的最佳方式是什么?

sauutmhj  于 2021-06-25  发布在  Flink
关注(0)|答案(1)|浏览(474)

我正在使用apache flink处理一个数据流,我需要在处理输入数据的所有节点之间共享一个索引。索引经常被节点更新。
我想知道,从效率的Angular 来看,通过广播变量共享数据集是一种好的做法吗?
广播变量是否在每次更新后都会在所有节点中更新?
apache flink是否只为最近的更改而智能地增量更新广播变量?

j5fpnvbx

j5fpnvbx1#

我认为解决方案在于使用基于flink的托管状态描述符的有状态函数。如果状态不可分区,请为操作符将并行度设置为1。

相关问题