使用graphite监视spark 2.x

ctzwtxfj  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(407)

我想用石墨来监控我的工作执行情况。我想这样做有hdfs的i/o速率和执行中的任务数。我遵循了以下教程:http://www.hammerlab.org/2015/02/27/monitoring-spark-with-graphite-and-grafana/ 但如果我使用他们的选项提交作业:

--files=/path/to/metrics.properties \
--conf spark.metrics.conf=metrics.properties

我发现一个错误,它找不到文件:

16/10/05 13:21:22 ERROR metrics.MetricsConfig: Error loading configuration file metrics.properties
java.io.FileNotFoundException: metrics.properties (No such file or directory)

我还尝试输入一个我的所有节点都可以访问的绝对路径(在一个挂载目录中),这样可以消除错误,但是它们在graphite中缺少信息(比如executor.threadpool)
有人用石墨Spark能帮我吗?或者有比石墨更好的工具?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题