如果一个生产者有3个主题,每个主题有4个分区,那么消费者组应该包含4个还是12个消费者?我想达到理想的消费。
agyaoht71#
如果有n个分区,那么在同一个使用者组中最多可以有n个使用者,每个使用者都从单个分区读取数据。当使用者少于分区时,一些使用者将从多个分区读取数据。另外,如果使用者比分区多,则某些使用者将处于非活动状态,并且根本不会收到任何消息。不能有多个使用者(在同一使用者组中)使用来自单个分区的数据。因此,为了使用n个使用者使用来自同一分区的数据,您还需要创建n个不同的使用者组。注意,分区增强了kafka集群内的并行性。如果您创建数千个使用者来仅使用一个分区中的数据,我怀疑您将失去某种程度的并行性。
xsuvu9jc2#
应该有一个 consumer 每个 partition 理想的消费。因此,对于您的情况,12个消费者应该是理想的。
consumer
partition
2条答案
按热度按时间agyaoht71#
如果有n个分区,那么在同一个使用者组中最多可以有n个使用者,每个使用者都从单个分区读取数据。当使用者少于分区时,一些使用者将从多个分区读取数据。另外,如果使用者比分区多,则某些使用者将处于非活动状态,并且根本不会收到任何消息。
不能有多个使用者(在同一使用者组中)使用来自单个分区的数据。因此,为了使用n个使用者使用来自同一分区的数据,您还需要创建n个不同的使用者组。
注意,分区增强了kafka集群内的并行性。如果您创建数千个使用者来仅使用一个分区中的数据,我怀疑您将失去某种程度的并行性。
xsuvu9jc2#
应该有一个
consumer
每个partition
理想的消费。因此,对于您的情况,12个消费者应该是理想的。