Kafka消费集团消费者数量

wooyq4lh  于 2021-06-05  发布在  Kafka
关注(0)|答案(2)|浏览(450)

如果一个生产者有3个主题,每个主题有4个分区,那么消费者组应该包含4个还是12个消费者?我想达到理想的消费。

agyaoht7

agyaoht71#

如果有n个分区,那么在同一个使用者组中最多可以有n个使用者,每个使用者都从单个分区读取数据。当使用者少于分区时,一些使用者将从多个分区读取数据。另外,如果使用者比分区多,则某些使用者将处于非活动状态,并且根本不会收到任何消息。
不能有多个使用者(在同一使用者组中)使用来自单个分区的数据。因此,为了使用n个使用者使用来自同一分区的数据,您还需要创建n个不同的使用者组。
注意,分区增强了kafka集群内的并行性。如果您创建数千个使用者来仅使用一个分区中的数据,我怀疑您将失去某种程度的并行性。

xsuvu9jc

xsuvu9jc2#

应该有一个 consumer 每个 partition 理想的消费。因此,对于您的情况,12个消费者应该是理想的。

相关问题