**结束。**此问题不符合堆栈溢出准则。它目前不接受答案。**想改进这个问题吗?**更新问题,使其成为堆栈溢出的主题。
四年前关门了。改进这个问题我正在尝试编写一个java代码来获取kafka集群的消费偏移量和延迟。有没有javaapi来获取这些信息?
avkwfej41#
如果您使用kafka客户机库及其api,则可以获得此信息。也就是说,有一些工具可以给你这些信息,如果你是Kafka指标/监测更多。linkedin的burrow和sematext的Kafkaspm是两个不错的选择。
ubby3x7f2#
您可以使用java管理扩展(jmx)来监视您的kafka。Kafka已经内置了jmx,你只需要启用它-在kafka设置中,通过向脚本文件添加以下行来编辑“kafka run class.sh”:kafka_jmx_opts=“-dcom.sun.management.jmxremote=true-dcom.sun.management.jmxremote.authenticate=false-dcom.sun.management.jmxremote.ssl=false”另外,编辑kafka安装程序中的“kafka server start.sh”脚本文件,通过添加以下行将jmx端口设置为9999:导出jmx\u port=${jmx_port:-9999}
x8diyxa73#
是的,有一个用java编写的应用程序可以跟踪kafka集群中所有消费者组的偏移量。您可以用json或html获得结果,还可以配置该应用程序以固定的间隔将偏移量度量推送到statsd服务器。项目如下:https://github.com/symantec/kafka-monitoring-tool监测结果:
lyr7nygr4#
组的偏移量存储在zookeeper中,您需要一个zookeeper示例,然后使用该方法 zk.getChildren(path,false) 获取节点信息并使用方法 zk.getData(path,false,null) 获取偏移信息。套 path="/consumers" 您可以获得消费者组列表。套 path="/consumers/ group/offset/ topic/ partition" 你可以得到偏移量。
zk.getChildren(path,false)
zk.getData(path,false,null)
path="/consumers"
path="/consumers/ group/offset/ topic/ partition"
w3nuxt5m5#
你应该在这个项目中找到你需要的东西:https://github.com/apache/storm/tree/master/external/storm-kafka/src/jvm/storm/kafka在这里您可以看到kafka.javaapi.consumer.simpleconsumer及其使用方法。使用maven从maven repo中提取所有依赖项,您应该会看到一个kafka2.10-0.8.2.1.jar文件,该文件提供了所需的kafkaapi调用。上面引用的github项目应该为您提供关于如何使用api的额外指针。
5条答案
按热度按时间avkwfej41#
如果您使用kafka客户机库及其api,则可以获得此信息。也就是说,有一些工具可以给你这些信息,如果你是Kafka指标/监测更多。linkedin的burrow和sematext的Kafkaspm是两个不错的选择。
ubby3x7f2#
您可以使用java管理扩展(jmx)来监视您的kafka。
Kafka已经内置了jmx,你只需要启用它-
在kafka设置中,通过向脚本文件添加以下行来编辑“kafka run class.sh”:
kafka_jmx_opts=“-dcom.sun.management.jmxremote=true-dcom.sun.management.jmxremote.authenticate=false-dcom.sun.management.jmxremote.ssl=false”
另外,编辑kafka安装程序中的“kafka server start.sh”脚本文件,通过添加以下行将jmx端口设置为9999:
导出jmx\u port=${jmx_port:-9999}
x8diyxa73#
是的,有一个用java编写的应用程序可以跟踪kafka集群中所有消费者组的偏移量。您可以用json或html获得结果,还可以配置该应用程序以固定的间隔将偏移量度量推送到statsd服务器。
项目如下:
https://github.com/symantec/kafka-monitoring-tool
监测结果:
lyr7nygr4#
组的偏移量存储在zookeeper中,您需要一个zookeeper示例,然后使用该方法
zk.getChildren(path,false)
获取节点信息并使用方法zk.getData(path,false,null)
获取偏移信息。套
path="/consumers"
您可以获得消费者组列表。套
path="/consumers/ group/offset/ topic/ partition"
你可以得到偏移量。w3nuxt5m5#
你应该在这个项目中找到你需要的东西:https://github.com/apache/storm/tree/master/external/storm-kafka/src/jvm/storm/kafka
在这里您可以看到kafka.javaapi.consumer.simpleconsumer及其使用方法。使用maven从maven repo中提取所有依赖项,您应该会看到一个kafka2.10-0.8.2.1.jar文件,该文件提供了所需的kafkaapi调用。
上面引用的github项目应该为您提供关于如何使用api的额外指针。