风暴:kafkaspout-我的消费群在哪里?

vx6bjr1n  于 2021-06-08  发布在  Kafka
关注(0)|答案(3)|浏览(341)

我需要查看storm通过其KafkasOut读取的偏移值。下面是我传入的配置:

SpoutConfig kafkaConfig = new SpoutConfig(brokerHosts, "some_values",  
     "/storm/env_values", "storm_DEBUG");

我试着用Kafka的一些工具四处搜索,但还没有找到任何有用的东西:
kafka.tools.exportzk文件
kafka.tools.consumeroffetchecker公司
有没有更好的工具来找到我的偏移量?

8gsdolmq

8gsdolmq1#

默认情况下,kafkaspout在storm的zookeeper上维护偏移信息 {root path}/{id}/{partition-id} . 请阅读此文以了解更多信息。
你可以在Kafka使用捆绑的zookeeper外壳( bin/zookeeper-shell.sh zookeeperHost:port )并使用cli浏览到该位置。对偏移路径发出get将得到存储的值。

kq0g1dla

kq0g1dla2#

看一看https://cwiki.apache.org/confluence/display/kafka/ecosystem 在管理控制台中,有一个用于监视主题和偏移量的工具列表。我记得我有用https://github.com/otoolep/stormkafkamon python监视工具。
但是你到底想要什么呢?如果你只想看到你的偏移量,你可以在zookeeper中看到你的偏移量,只需要连接你的zookeeper中存储偏移量的地方。
例子:
bin/zookeeper-shell.sh文件localhost:2000
正在连接到localhost:2000
欢迎来到Zookeeper!jline支持已禁用
长征/
[风暴,经纪人,Zookeeper]
ls/经纪人
[Kafka喷口]
ls/经纪人/Kafka喷口
[分区0]
get/brokers/kafka喷口/partition\u 0
{“topology”:{“id”:“a9be1962-6b4e-4ed4-ae68-155a1948a1f6”,“name”:“consolidate\u reports”},“offset”:4426029,“partition”:0,“broker”:{“host”:“localhost”,“port”:9092},“topic”:“投标历史”}czxid=0x50 ctime=thu may 21 11:00:48 brt 2015 mzxid=0x50 mtime=thu may 21 11:00:48 brt 2015 pzxid=0x50 cversion=0 dataversion=0 aclversion=0 ephemeralowner=0x0 datalength=182 numchildren=0

c0vxltue

c0vxltue3#

原来我看错Zookeeper了。根据这份文件:
Kafka喷口将其偏移量存储在apache storm使用的zookeeper的同一个示例中。
所以看KafkaZookeeper是没有帮助的。

相关问题