flink可以使用固定数字键来均匀地对数据流进行键控以避免数据倾斜吗?

new9mtju  于 2021-06-24  发布在  Flink
关注(0)|答案(1)|浏览(368)

我将keyby parallism设置为30,如何找到30个唯一的键来使datastream均匀地设置keybay?flink支持这个吗?因为我不想要太多的密钥,我会在influxdb中把密钥作为一个标记,所以我不想要太多的密钥,避免influxdb中的oom。但是我怎么能在一个数据流中使用最小密钥来keyby呢?
我想用flink来跟踪mysql中表的每一个更改(比如update/insert),并且我会计算每秒钟每个表的更改次数,但是有些表的更改太多,导致keyby数据倾斜,所以我想用固定数字键来平衡keyby流的负载。

rggaifut

rggaifut1#

从技术上讲可以,但从你的问题我知道你不需要使用 keyBy() 你只想这样做来重新平衡这个流。在这种情况下,您可以很容易地使用 rebalance()DataStream 这将导致使用循环算法对流进行分区,从而使负载均匀分布。

相关问题