我想用石墨来监控我的工作执行情况。我想这样做有hdfs的i/o速率和执行中的任务数。我遵循了以下教程:http://www.hammerlab.org/2015/02/27/monitoring-spark-with-graphite-and-grafana/ 但如果我使用他们的选项提交作业:
--files=/path/to/metrics.properties \
--conf spark.metrics.conf=metrics.properties
我发现一个错误,它找不到文件:
16/10/05 13:21:22 ERROR metrics.MetricsConfig: Error loading configuration file metrics.properties
java.io.FileNotFoundException: metrics.properties (No such file or directory)
我还尝试输入一个我的所有节点都可以访问的绝对路径(在一个挂载目录中),这样可以消除错误,但是它们在graphite中缺少信息(比如executor.threadpool)
有人用石墨Spark能帮我吗?或者有比石墨更好的工具?
暂无答案!
目前还没有任何答案,快来回答吧!