我正在开发一个spark程序来监控每个执行者的表现，比如一个执行者什么时候开始工作，什么时候完成工作。我在想两种方法：首先，开发程序，当执行器开始工作时，它将当前时间标记到一个文件中，当它完成时，将该时间标记到同一个文件中。最后，所有的“日志”文件将分布在除驱动机之外的整个集群网络中。其次，由于执行器会定期向驱动程序报告，每次驱动程序收到执行器的消息时，如果消息包含“开始”和“完成”信息，则让驱动程序记录所有信息。有可能吗？
nfeuvbwi1#
有许多方法可以监视执行器性能和应用程序性能最好的方法是借助spark web ui和其他可用的监视工具进行监视，这些工具是开源的（ganglia）您需要监控您的应用程序，看您的集群是否利用不足，您创建的应用程序使用了多少资源。可以使用各种工具进行监视，例如ganglia从ganglia可以找到cpu、内存和网络使用情况。根据对cpu和内存使用情况的观察，可以更好地了解应用程序需要哪种调优希望这有帮助！！！。。。。
1条答案
按热度按时间nfeuvbwi1#
有许多方法可以监视执行器性能和应用程序性能
最好的方法是借助spark web ui和其他可用的监视工具进行监视，这些工具是开源的（ganglia）
您需要监控您的应用程序，看您的集群是否利用不足，您创建的应用程序使用了多少资源。
可以使用各种工具进行监视，例如ganglia从ganglia可以找到cpu、内存和网络使用情况。根据对cpu和内存使用情况的观察，可以更好地了解应用程序需要哪种调优
希望这有帮助！！！。。。。