在一个简单的场景中,我有:1 kafka broker n topics no topic partitioning例如,我希望消费者之间的主题是分开的。我加载k个消费者(流),每个流处理n/k个主题。我可以使用相同的消费群体我可以在自己的组中加载每个消费者你能确认一下,如果有新的消费者加入,二维情况下的再平衡不会发生吗?这很好,因为我想避免重新平衡。这两种方法的潜在缺点是什么?
rdrgkggo1#
在将消费者添加到不同的组时,不应进行重新平衡。当使用同一个使用者组时,如果一个使用者死亡,其他使用者将获取他的主题/分区,并从其死亡的偏移量继续处理。如果您使用不同的消费者组,您必须自己从正确的位置重新启动消费者。
1条答案
按热度按时间rdrgkggo1#
在将消费者添加到不同的组时,不应进行重新平衡。
当使用同一个使用者组时,如果一个使用者死亡,其他使用者将获取他的主题/分区,并从其死亡的偏移量继续处理。如果您使用不同的消费者组,您必须自己从正确的位置重新启动消费者。