我想做的是让执行者在程序启动时(即在开始执行任何任务之前)启动一个程序,比如一个分析工具。这样,就可以监视执行器的cpu使用情况。spark是否提供此类挂钩/回调?我用过sparklistener,但它是由驾驶员端使用的。我们对遗嘱执行人也有类似的规定吗?
mu0hgdu01#
这应该符合你的要求。http://spark.apache.org/developer-tools.html#profiling设置您的工具包,使其同时与驱动程序和从属程序(执行器)一起工作。除非你告诉它,否则它不会开始分析。连接到主机或从机,开始分析,然后运行测试。祝你愉快!!
1条答案
按热度按时间mu0hgdu01#
这应该符合你的要求。http://spark.apache.org/developer-tools.html#profiling
设置您的工具包,使其同时与驱动程序和从属程序(执行器)一起工作。除非你告诉它,否则它不会开始分析。连接到主机或从机,开始分析,然后运行测试。
祝你愉快!!