通过prometheus jmx exporter导出spark自定义度量

dgtucam1  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(536)

我正在尝试以prometheus格式导出spark(2.4.0)自定义度量。我找到了这个指南https://argus-sec.com/monitoring-spark-prometheus/ 在本地pc(windows)上运行时,我可以在visualvm和spark的json中看到我的度量http://localhost:4040/metrics/json/
我的问题是jmx出口商(https://github.com/prometheus/jmx_exporter/blob/master/readme.md)没有任何迹象表明它是活跃的。我在spark conf中添加了以下内容:

val conf = new SparkConf()                                                  
val metrics  =  Map("spark.metrics.conf" -> "<pathOnMyPC>\metrics.properties")
val prometheus = Map("spark.driver.extraJavaOptions" -> "spark.driver.extraJavaOptions=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8090 -Dcom.sun.management.jmxremote.rmi.port=8091 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=localhost -javaagent:<pathOnMyPC>jmx_prometheus_javaagent-0.13.0.jar=8095:<pathOnMyPC>\prometheus-config.yaml")
conf.setAll(metrics)
conf.setAll(prometheus)

我的prometheus-config.yaml文件没有任何规则来显示所有内容,只是为了看到数据被提取出来。

---
lowercaseOutputName: true
attrNameSnakeCase: true

我没有看到来自jmx导出器和http://localhost:8095/无法达到指标。请告知:)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题