在Kafka的“消费者补偿”主题中,什么可能导致巨大的负载?

disho6za  于 2021-06-07  发布在  Kafka
关注(0)|答案(2)|浏览(641)

我在kafka集群(kafka 0.11.0.0)中有简单的观察。
根据jmx的信息 __consumer_offsets topic不断加载的消息是所有其他主题中所有消息总和的10倍。我还将控制台消费者与此主题联系起来,我可以测量类似的值。
原因是什么?
如何检查kafka代理在做什么,并自己生成这样的负载?

ktca8awb

ktca8awb1#

对于Kafka2.2版,这是一个演示:
Kafka2.12-2.2.1/bin#

./kafka-console-consumer.sh --bootstrap-server  your-broker   --topic __consumer_offsets --formatter  "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter"

输出为:

[MyGroup-7cc5f948df-f9tqz,__MY_TOPIC,2]::OffsetAndMetadata(offset=30, leaderEpoch=Optional.empty, metadata=, commitTimestamp=1568121107017, expireTimestamp=None)
a2mppw5e

a2mppw5e2#

要阅读消费者补偿主题: bin/kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server brokers --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" --new-consumer --consumer.config consumer.conf 对于kafka 11,请使用格式化程序 "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" 其中consumer.conf有一行 exclude.internal.topics=false

相关问题