我在kafka集群(kafka 0.11.0.0)中有简单的观察。根据jmx的信息 __consumer_offsets topic不断加载的消息是所有其他主题中所有消息总和的10倍。我还将控制台消费者与此主题联系起来,我可以测量类似的值。原因是什么?如何检查kafka代理在做什么,并自己生成这样的负载?
__consumer_offsets
ktca8awb1#
对于Kafka2.2版,这是一个演示:Kafka2.12-2.2.1/bin#
./kafka-console-consumer.sh --bootstrap-server your-broker --topic __consumer_offsets --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter"
输出为:
[MyGroup-7cc5f948df-f9tqz,__MY_TOPIC,2]::OffsetAndMetadata(offset=30, leaderEpoch=Optional.empty, metadata=, commitTimestamp=1568121107017, expireTimestamp=None)
a2mppw5e2#
要阅读消费者补偿主题: bin/kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server brokers --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" --new-consumer --consumer.config consumer.conf 对于kafka 11,请使用格式化程序 "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" 其中consumer.conf有一行 exclude.internal.topics=false
bin/kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server brokers --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" --new-consumer --consumer.config consumer.conf
"kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter"
exclude.internal.topics=false
2条答案
按热度按时间ktca8awb1#
对于Kafka2.2版,这是一个演示:
Kafka2.12-2.2.1/bin#
输出为:
a2mppw5e2#
要阅读消费者补偿主题:
bin/kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server brokers --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" --new-consumer --consumer.config consumer.conf
对于kafka 11,请使用格式化程序"kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter"
其中consumer.conf有一行exclude.internal.topics=false