我用的是Kafka2.0.0。在消费偏移主题中,大部分分区是30mb,但有些分区非常大。例如:一个分区是15gb,另一个分区是250gb,等等。有什么问题吗?
w1e3prcc1#
主题 __consumer_offsets 存储kafka使用者组的每个订阅主题分区的最新提交偏移量。在本主题中,将consumergroup服务器作为键。显然,与其他使用者组相比,属于同一分区(应用哈希(键)%#分区逻辑)的使用者组更活跃(更频繁地消耗更多消息)。
__consumer_offsets
1条答案
按热度按时间w1e3prcc1#
主题
__consumer_offsets
存储kafka使用者组的每个订阅主题分区的最新提交偏移量。在本主题中,将consumergroup服务器作为键。显然,与其他使用者组相比,属于同一分区(应用哈希(键)%#分区逻辑)的使用者组更活跃(更频繁地消耗更多消息)。