我正在使用apache flink处理一个数据流,我需要在处理输入数据的所有节点之间共享一个索引。索引经常被节点更新。我想知道,从效率的Angular 来看,通过广播变量共享数据集是一种好的做法吗?广播变量是否在每次更新后都会在所有节点中更新?apache flink是否只为最近的更改而智能地增量更新广播变量?
j5fpnvbx1#
我认为解决方案在于使用基于flink的托管状态描述符的有状态函数。如果状态不可分区,请为操作符将并行度设置为1。
1条答案
按热度按时间j5fpnvbx1#
我认为解决方案在于使用基于flink的托管状态描述符的有状态函数。如果状态不可分区,请为操作符将并行度设置为1。