我正在尝试解析 __consumer_offsets Kafka的主题。其思想是在我的kafka集群中查找组id、主题和正在创建负载的消费者。
我正在执行的命令如下
bin/kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server brokers --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" --new-consumer --consumer.config consumer.conf现在输出如下
[dedupeconsumergroup,daas.dedupe.avrosyslog.incoming,4]::[OffsetMetadata[8646,NO_METADATA],CommitTime 1538115746766,ExpirationTime 1538202146766]
[dedupeconsumergroup,daas.dedupe.avrosyslog.incoming,6]::[OffsetMetadata[8639,NO_METADATA],CommitTime 1538115746766,ExpirationTime 1538202146766]有人能帮我理解这个日志或者给我指一下文档吗。提前谢谢。
1条答案
按热度按时间ubbxdtey1#
这意味着名为dedupeconsumergroup的使用者组在主题daas.dedupe.avrosyslog.incoming中的分区6上读取/提交了偏移量8639
哪个特定的使用者读取特定的偏移量可能稍微复杂一些，因为您必须知道哪个分区在给定的时间点被分配给哪个使用者-它可以随着时间的推移由于重新平衡而改变。