我需要查看storm通过其KafkasOut读取的偏移值。下面是我传入的配置:
SpoutConfig kafkaConfig = new SpoutConfig(brokerHosts, "some_values",
"/storm/env_values", "storm_DEBUG");
我试着用Kafka的一些工具四处搜索,但还没有找到任何有用的东西:
kafka.tools.exportzk文件
kafka.tools.consumeroffetchecker公司
有没有更好的工具来找到我的偏移量?
3条答案
按热度按时间8gsdolmq1#
默认情况下,kafkaspout在storm的zookeeper上维护偏移信息
{root path}/{id}/{partition-id}
. 请阅读此文以了解更多信息。你可以在Kafka使用捆绑的zookeeper外壳(
bin/zookeeper-shell.sh zookeeperHost:port
)并使用cli浏览到该位置。对偏移路径发出get将得到存储的值。kq0g1dla2#
看一看https://cwiki.apache.org/confluence/display/kafka/ecosystem 在管理控制台中,有一个用于监视主题和偏移量的工具列表。我记得我有用https://github.com/otoolep/stormkafkamon python监视工具。
但是你到底想要什么呢?如果你只想看到你的偏移量,你可以在zookeeper中看到你的偏移量,只需要连接你的zookeeper中存储偏移量的地方。
例子:
bin/zookeeper-shell.sh文件localhost:2000
正在连接到localhost:2000
欢迎来到Zookeeper!jline支持已禁用
长征/
[风暴,经纪人,Zookeeper]
ls/经纪人
[Kafka喷口]
ls/经纪人/Kafka喷口
[分区0]
get/brokers/kafka喷口/partition\u 0
{“topology”:{“id”:“a9be1962-6b4e-4ed4-ae68-155a1948a1f6”,“name”:“consolidate\u reports”},“offset”:4426029,“partition”:0,“broker”:{“host”:“localhost”,“port”:9092},“topic”:“投标历史”}czxid=0x50 ctime=thu may 21 11:00:48 brt 2015 mzxid=0x50 mtime=thu may 21 11:00:48 brt 2015 pzxid=0x50 cversion=0 dataversion=0 aclversion=0 ephemeralowner=0x0 datalength=182 numchildren=0
c0vxltue3#
原来我看错Zookeeper了。根据这份文件:
Kafka喷口将其偏移量存储在apache storm使用的zookeeper的同一个示例中。
所以看KafkaZookeeper是没有帮助的。