我将keyby parallism设置为30,如何找到30个唯一的键来使datastream均匀地设置keybay?flink支持这个吗?因为我不想要太多的密钥,我会在influxdb中把密钥作为一个标记,所以我不想要太多的密钥,避免influxdb中的oom。但是我怎么能在一个数据流中使用最小密钥来keyby呢?
我想用flink来跟踪mysql中表的每一个更改(比如update/insert),并且我会计算每秒钟每个表的更改次数,但是有些表的更改太多,导致keyby数据倾斜,所以我想用固定数字键来平衡keyby流的负载。
1条答案
按热度按时间rggaifut1#
从技术上讲可以,但从你的问题我知道你不需要使用
keyBy()
你只想这样做来重新平衡这个流。在这种情况下,您可以很容易地使用rebalance()
在DataStream
这将导致使用循环算法对流进行分区,从而使负载均匀分布。