我有一个用例,它有一个潜在的大Map,其中包含一些值,我希望将这些值分布在多台机器上,以便执行流处理。apache flink是否可以在集群模式下通过mapstate实现这一点?或者只能在同一台机器的多个线程上并行计算?keyedstream是否提供了实现这一点的方法?
fumotvh31#
mapstate是一种密钥分区状态,簇中的每个节点负责密钥空间中不相交的子集。mapstate与keyedstreams一起使用,您实际上得到了一个分片键/值存储,其中值本身就是Map。你可能在寻找 ValueState<T> ,在这种情况下,您将有一个类型为t的对象与每个键相关联。
ValueState<T>
1条答案
按热度按时间fumotvh31#
mapstate是一种密钥分区状态,簇中的每个节点负责密钥空间中不相交的子集。mapstate与keyedstreams一起使用,您实际上得到了一个分片键/值存储,其中值本身就是Map。
你可能在寻找
ValueState<T>
,在这种情况下,您将有一个类型为t的对象与每个键相关联。