Kafka消费群体行为不平等

brjng4g3  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(268)

试图理解Kafka的消费群体行为。示例4分区可用。在消费者方面,消费者群体占据了4个消费者。在这个场景中,在消费者组中的4个消费者中,只有一个消费者总是收到消息。其他人总是无所事事。可能的原因是什么?
是否所有分区都包含相同的消息?或者所有分区都有相同的消息?或者我们可以考虑分区不是均匀分布的吗?

vlju58qv

vlju58qv1#

其他人总是无所事事。可能的原因是什么?
默认情况下,对于4个分区和4个使用者,这是不可能的。您必须手动将组中的所有4个使用者分配到一个主题分区。或者在分配给这些使用者的分区中没有数据,所以它们“看起来”空闲,但仍在轮询0条记录。
是否所有分区都包含相同的消息?
消息包含键和值。如果密钥为null,则消息的相同值可能存在于多个分区上。如果您有非空键,那么同一个消息(同一个键)不可能在使用defaultpartitioner的不同分区上。
或者所有分区都有相同的消息?
不,主要是因为即使只是时间戳和偏移量在多个分区上也不匹配
我们能考虑分区的分布不均匀吗?
如果您有自己的分区器,或者非空键,那么可以创建“热”/“胖”分区,在其中它将与其他分区不平衡。如果使用空键,则生成程序将在所有分区上均匀地进行四舍五入。

相关问题