kafka消费者分布未按预期工作

y3bcpkx1  于 2021-06-08  发布在  Kafka
关注(0)|答案(2)|浏览(365)

我有三个主题,每个主题在Kafka的簇上有三个分区。
现在,总共有9个分区。当我创建9个消费者时。。。这6个人正在闲着。只有三个消费者在使用。
期望值是:每个使用者应该选取一个分区,因此,9个使用者应该选取9个分区中的文档
但实际情况是:一个消费者从三个不同的分区(一个不同的主题)中获取信息。
e、 我有三个主题topic\u a,topic\u b和topic\u c,每个都有三个分区。因此,分区如下:
主题\u a\u 0,主题\u a\u 1,主题\u a\u 2,主题\u b\u 0,主题\u b\u 1,主题\u b\u 2,主题\u c\u 0,主题\u c\u 1,主题\u c\u 2
当我创建9个消费者时,分发工作如下:

Consumer1: Topic_A_0,Topic_B_0,Topic_C_0 
Consumer2: Topic_A_1,Topic_B_1,Topic_C_1 
Consumer3: Topic_A_2,Topic_B_2,Topic_C_2
Consumer4,Consumer5,Consumer6,Consumer7,Consumer8,Consumer9 are idle

应该是的

Consumer1: Topic_A_0
Consumer2: Topic_A_1
Consumer3: Topic_A_2

Consumer4: Topic_B_0
Consumer5: Topic_B_1
Consumer6: Topic_B_2

Consumer7: Topic_C_0 
Consumer8: Topic_C_1 
Consumer9: Topic_C_2

是否有任何配置,我需要让所有9个消费者从9个独特的巴黎拿起信息?

1cklez4t

1cklez4t1#

确保您的所有使用者都订阅了同一使用者组id下的同一组主题。对于主题列表,您可以传递预定义列表或正则表达式,以便使用者从中进行订阅。消费者id可以使用 group.id 消费者财产。

avkwfej4

avkwfej42#

默认的分区分配策略不能跨主题工作,因此这是预期的行为。这里有一个类似的问题:Kafka的消费者在不同的主题上是平衡的

相关问题