apache beam streaming作业的stackdriver吞吐量度量

blmhpbnm  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(379)

我在apachebeam上实现了一个流作业,它从apachekafka读取消息,处理它们并将它们输出到bigtable中。
我想得到这个作业中入口/出口的吞吐量指标,即作业读取的消息数/秒和写入的消息数/秒。
查看图形可视化,我发现有吞吐量指标,例如,请看下面的示例性图片进行演示

但是,查看文档,它在stackdriver上不可用。
是否有任何现有的解决方案来获取此指标?

xpszyzbs

xpszyzbs1#

我们正在研究向stackdriver发布吞吐量度量,但目前还没有。elementcount(stackdriver中的element\u count)度量是该ui或通过stackdriver可用于度量吞吐量的唯一度量。如果这是显示在图表上,它一定是一些计算的指标。不幸的是,度量是作为一个规格度量导出到stackdriver的,因此不能直接解释为stackdriver中的速率。
次要的一点是,dataflow实际上并没有将度量流导出到外部源中。elementcount度量值仅流入转换间集合。但是,只要读/写转换基本上是直通的,流入/流出相邻集合的流就足够了。

相关问题