从0.8.1.1版本开始,kafka提供了在kafka中存储偏移的规定,而不是zookeeper(参见此)。我不知道如何检查消耗的偏移量的细节,因为当前的工具只为zookeeper提供消耗偏移量计数检查如果有任何工具可用于检查消费者抵消,请让我知道。
lmvvr0a81#
我用的是Kafka2.1 kafka-consumer-groups 命令,该命令提供有用的详细信息,如当前偏移量、日志结束偏移量、延迟等
kafka-consumer-groups
kafka-consumer-groups.sh \ --bootstrap-server localhost:29092 \ --describe --group <consumer group name>
示例输出如下所示
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID your.topic 1 17721650 17721673 23 consumer-159-beb9050b /1.2.3.4 consumer-159 your.topic 3 17718700 17718719 19 consumer-159-beb9050b /1.2.3.4 consumer-159 your.topic 0 17721700 17721717 17 consumer-159-beb9050b /1.2.3.4 consumer-159
hth公司
hgncfbus2#
我使用的是Kafka0.8.2,偏移量存储在Kafka中。这个工具对我很有用:
./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --topic your-topic --group your-consumer-group --zookeeper localhost:2181
你得到所有你需要的信息:主题大小,消费者滞后,所有者。
voj3qocg3#
下面的直接命令提供了足够的详细信息:
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-second-application
你会得到这样的细节
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID first_topic 0 4 4 0 consumer-1-7cb31cf3-1621-4635-8f95-6ae85215b31b /10.200.237.53 consumer-1 first_topic 1 3 3 0 consumer-1-7cb31cf3-1621-4635-8f95-6ae85215b31b /10.200.237.53 consumer-1 first_topic 2 3 3 0 consumer-1-7cb31cf3-1621-4635-8f95-6ae85215b31b /10.200.237.53 consumer-1 first-topic 0 4 4 0 - - -
3条答案
按热度按时间lmvvr0a81#
我用的是Kafka2.1
kafka-consumer-groups
命令,该命令提供有用的详细信息,如当前偏移量、日志结束偏移量、延迟等示例输出如下所示
hth公司
hgncfbus2#
我使用的是Kafka0.8.2,偏移量存储在Kafka中。这个工具对我很有用:
你得到所有你需要的信息:主题大小,消费者滞后,所有者。
voj3qocg3#
下面的直接命令提供了足够的详细信息:
你会得到这样的细节