消费偏移是在消费组级别管理还是在该消费组内的单个消费组管理?

lsmepo6l  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(346)

我试图找出是否有任何抵消在消费者群体的水平以及。消费者补偿是在消费者群体层面,还是在Kafka消费者群体内部的个人消费者层面?

x3naxklr

x3naxklr1#

偏移量在consumergroup级别进行跟踪。
假设您在一个consumergroup中有4个consumer线程,使用4个分区从一个主题中进行消费。如果您现在停止所有4个线程并重新启动同一组的单个线程,那么1个线程将知道所有4个线程停止使用的位置,并从那里继续。
“您是说一个偏移量(基本上是一个共享的int/long值)将由一个消费组中的所有消费者共享/更新?”
是的,这是正确的。请记住,主题的单个分区只能由组中的一个使用者线程读取。同一consumergroup的两个使用者线程永远不会同时使用单个主题分区。消费者组的偏移量存储在名为 __consumer_offsets . 在本主题中,基本上有一个键/值对,其中键基本上是
消费者组
主题
主题内分区
你的值就是偏移量。这是内部的 __consumer_offsets 主题对所有消费者都可用,因此信息是共享的。

相关问题