没有投票的低频Kafka主题?

ccgok5k5  于 2023-05-05  发布在  Apache
关注(0)|答案(2)|浏览(119)

我们希望使用Kafka来进行我们服务之间的所有通信。
我们有许多高频主题(每秒许多消息),对于这些主题,消费者轮询的Kafka机制是有效和合适的。
但是,我们也有一些低频主题(每天没有或很少消息)。如果产生这样的低频消息,所有消费者都应该立即消费。但是,如果所有消费者都以高频率轮询(例如,每秒),而每天没有或很少产生这样的消息。最有效的是,如果对于这样的低频主题,消费者可以注册回调(例如一个REST端点),Kafka在生成消息时调用该回调。然而,我在Kafka文档中找不到这样的回调机制。我们如何在Kafka中最好地解决这个问题?

cbjzeqam

cbjzeqam1#

消费者总是投票。Kafka从不推人。
您可以研究Kubernetes中的KEDA或具有Kafka集成的无服务器平台等解决方案,您可以将“处理器”扩展到零,但消费者本身是受管理的,并且始终侦听/轮询事件

pw136qt2

pw136qt22#

一个可能的解决方案是使用消费者通知回调来扩展Kafka:https://issues.apache.org/jira/browse/KAFKA-14968

相关问题