java中是否有kafka监视api?

omhiaaxx  于 2021-06-08  发布在  Kafka
关注(0)|答案(5)|浏览(414)

**结束。**此问题不符合堆栈溢出准则。它目前不接受答案。
**想改进这个问题吗?**更新问题,使其成为堆栈溢出的主题。

四年前关门了。
改进这个问题
我正在尝试编写一个java代码来获取kafka集群的消费偏移量和延迟。有没有javaapi来获取这些信息?

avkwfej4

avkwfej41#

如果您使用kafka客户机库及其api,则可以获得此信息。也就是说,有一些工具可以给你这些信息,如果你是Kafka指标/监测更多。linkedin的burrow和sematext的Kafkaspm是两个不错的选择。

ubby3x7f

ubby3x7f2#

您可以使用java管理扩展(jmx)来监视您的kafka。
Kafka已经内置了jmx,你只需要启用它-
在kafka设置中,通过向脚本文件添加以下行来编辑“kafka run class.sh”:
kafka_jmx_opts=“-dcom.sun.management.jmxremote=true-dcom.sun.management.jmxremote.authenticate=false-dcom.sun.management.jmxremote.ssl=false”
另外,编辑kafka安装程序中的“kafka server start.sh”脚本文件,通过添加以下行将jmx端口设置为9999:
导出jmx\u port=${jmx_port:-9999}

x8diyxa7

x8diyxa73#

是的,有一个用java编写的应用程序可以跟踪kafka集群中所有消费者组的偏移量。您可以用json或html获得结果,还可以配置该应用程序以固定的间隔将偏移量度量推送到statsd服务器。
项目如下:
https://github.com/symantec/kafka-monitoring-tool
监测结果:

lyr7nygr

lyr7nygr4#

组的偏移量存储在zookeeper中,您需要一个zookeeper示例,然后使用该方法 zk.getChildren(path,false) 获取节点信息并使用方法 zk.getData(path,false,null) 获取偏移信息。
path="/consumers" 您可以获得消费者组列表。
path="/consumers/ group/offset/ topic/ partition" 你可以得到偏移量。

w3nuxt5m

w3nuxt5m5#

你应该在这个项目中找到你需要的东西:https://github.com/apache/storm/tree/master/external/storm-kafka/src/jvm/storm/kafka
在这里您可以看到kafka.javaapi.consumer.simpleconsumer及其使用方法。使用maven从maven repo中提取所有依赖项,您应该会看到一个kafka2.10-0.8.2.1.jar文件,该文件提供了所需的kafkaapi调用。
上面引用的github项目应该为您提供关于如何使用api的额外指针。

相关问题