Flink 将来自两个Kafka主题的消息排序到另一个主题中

gzszwxb4  于 2023-10-14  发布在  Apache
关注(0)|答案(1)|浏览(163)

假设我有2个Kafka主题,每个主题都有一个分区
我想使用一种技术,比如i.e. Kafka Streams、Apache Flink或Spring Kafka,通过基于Kafka时间戳年表连接这两个主题,将数据写入第三个主题。然而,我担心的问题,可能会出现在第一次运行这样一个程序。例如,如果主题A(3周前)中有2000万条消息,而主题B(1天前)中只有1000条消息。
有什么建议吗?

az31mfrm

az31mfrm1#

使用Flink,您可以使用水印对齐来避免对具有更多数据的源进行大量缓冲。
Kafka Streams将合并两个流,从具有较低时间戳的流中进行阅读-但在尽力而为的基础上。

相关问题