Kafka关于时间戳的分区,只处理当前小时分区中的消息

xqkwcwgp  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(275)

我正在开发一个消息传递系统,其中消息由具有时间参数的用户生成。我有一个消费者,它每小时运行一个作业,查找与当前时间相同的消息并发送这些消息。我想根据这个时间/时间戳,将主题“消息”分组,每个分区一个小时,这样我的消费者每小时只处理一个分区,而不是每小时浏览所有消息。
到目前为止,我有一个生产者,将产生关键的消息-值对,其中关键是与小时取整的时间。
我有两个问题:-
我可以通过在kafka设置中指定来创建2-3个分区,但是如何为每个小时槽设置多个分区?
我是否应该为每小时创建一个新主题,并要求消费者只听当前一小时的主题?
例如,我正在创建一个名为“2020-7-23-10”的主题,该主题将包含需要在2020年7月23日上午10点至11点之间传递的所有消息。所以我可以订阅这个主题并处理它们。
或者我可以创建一个名为“messages”的主题,并根据时间对其进行分区,并强制我的消费者只处理特定的分区。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题