如何从kafka connect源任务解释活动记录计数度量?

yk9xbfzb  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(292)

我有一个kafka连接源任务连接器(jdbc postgres连接器),我可以查看 kafka_connect_source_task_source_record_active_count_avg 此连接器的公制。我注意到图表如下所示:

所以我们偶尔会看到100条记录。如果我把度量从 _avgmax 实际上,台阶的尺寸是100。
不过,我不确定如何解释这些信息。这是否意味着现在(图表的末尾)有超过1100张唱片没有被Kafka接受,而且他们已经这样做了好几个星期了?我想知道为什么这个值没有减少。连接器在一个非常活跃的数据库中,所以如果它总是“落后”的话(这个词对吗?)。但我想知道,它是否至少总是在信息的背后发挥作用,或者它是否在“积累”某些信息,而这些信息从来没有因为这样或那样的原因被Kafka接受,这个数字是否反映了这些“卡住”的信息。

kqlmhetl

kqlmhetl1#

源记录活动计数
:此任务已生成但尚未完全写入Kafka的最新记录数。
https://cwiki.apache.org/confluence/display/kafka/kip-196%3a+add+metrics+to+kafka+connect+framework#kip196:addmetricstokafkaconnectframework源任务度量
你也可以画出你正在生成的主题的偏移量,看看它们是否遵循相同的增加步骤
另一种方法是使用debezium而不是jdbc源代码

相关问题