Kafka消息聚合

oymdgrw7  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(727)

我有Kafka主题的信息,压缩如下

1::3$
2::4$

稍后,一些值被添加到相同的键中

1::64$
2::145$

我的愿望是实现从上述信息是从一个主题如下

1::3$,64$
2::4$,145$

如何将值组合到主题中的同一个键

vjrehmav

vjrehmav1#

您可以使用Kafka流来实现这一点:
拓扑结构:
1源处理器:将输入主题读取为kstream
2处理器1:groupbykey()->生成kgroupedtable,pre-req。聚集
三。processor 2:aggregate()->生成一个包含所需组合值的ktable。您可以将ktable具体化为压缩主题。然后你可以阅读Kafka消费者或交互式查询。

相关问题