如何确保kafka流聚集了当天的数据

nwsw7zdq  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(553)

我有一个streams应用程序,它计算传入交易的高/低/数量。我有一个包含交易信息的输入主题。没有与这些消息关联的时间戳。我从输入流创建一个kgroupedstream,并将其按股票符号作为键进行分组
然后我从kgroupedstream创建一个ktable。我聚合数据,计算高/低/卷,创建一个名为hilowmessage的新消息,并将其流输出到我的输出流。
因为输入主题总是有数据。如何确保只对今天的数据进行聚合,而不包括昨天的数据?注意,输入主题消息结构中没有时间戳。

eh57zj3b

eh57zj3b1#

每个kafka消息的元数据字段中都有一个时间戳(即除了key和value之外)。这个时间戳通常由将数据写入主题的上游生产者设置。默认情况下,此记录元数据时间戳在kafka流中使用。因此,您可以使用一天的跳转来进行窗口聚合 TimeWindow .

相关问题