Kafka网络io指标

xhv8bpkk  于 2021-06-07  发布在  Kafka
关注(0)|答案(2)|浏览(411)

使用jmx服务器监视kafka度量,我希望获得每个代理(节点)的所有网络io。使用MBean kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec 以及 kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec 我可以在一些数据产生给代理或从代理中使用时获得网络io,但是我们知道代理之间有一些用于复制、元数据、连接到zookeeper等的网络io。在我的kafka集群中,每个节点的网络io约为6kb,而没有消耗或生成数据。除了产生或消耗的数据之外,还有什么kafka指标可以用来监控网络io吗?

kmbjn2e3

kmbjn2e31#

低于 kafka.network:type=RequestMetrics,name=RequestsPerSec 您可以找到所有请求类型的计数器,包括 Fetch 以及 FetchFollower 即使集群没有生产/消费流量也会发出。

pkwftd7m

pkwftd7m2#

您可以通过在producer和consumer或broker处启用jmx来检查生产或消费率,两者都是可能的。
例如,在broker中,有几个度量n/w和请求速率的指标
brokertopicmetrics.topic.{topic}.bytesinpersec
brokertopicmetrics.topic.{topic}.bytesouptersec
您可以检查下面kafka文档中公开的jmx度量,尽管这并不详尽,但是如果您想查看所有度量,可以在broker/producer/consumer上启用jmx,并通过visualvm或任何其他工具进行检查
https://docs.confluent.io/current/kafka/monitoring.html

相关问题