调试速率不平衡的kafka消息

mzillmmw  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(624)

在我的产品中有一个4节点的kafka集群,在这里我们使用定制的partitioner,它使用mod 64来确定分区。从上周开始,我们的一个节点上出现了Kafka消息速率不平衡的情况,如所附图表所示

. 粉色线表示kafka01节点上的消息传入速率,蓝黄色线表示所有其他3个框上的消息传入速率。我使用datadog进行监视,并使用kafka.u in.rate度量。假设id分布没有变化,那么消息在速率上的分布应该没有变化。我为调试这个问题所采取的步骤如下
集群在4个节点上各有16个引线。
isr在4个箱子中也保持平衡,每个箱子有32个isr[复制系数为2]
所有4个盒子上的网络输入和输出几乎相等。
请求任何帮助或可以查看的区域/指标来调试此异常。
对于那些在未来寻找这个的人https://mail-archives.apache.org/mod_mbox/kafka-users/201710.mbox/%3ccalaekbwkskapqpwsyuaohgisnc1+3jf2wf+2fdzbavx61e+c2w@mail.gmail.com%3e

5w9g7ksd

5w9g7ksd1#

没什么要调试的
启用代理日志以跟踪
比较一个接收到更多请求和一个接收到更少请求的短时间日志,这将有足够的produce请求进行比较分析
在日志中搜索producerrequest,它将为您提供有关它是否按预期发生的信息,并提供有关从哪个主机接收更多请求的信息。

相关问题