我知道下面是spark cluster需要的守护程序
主人
工人（奴隶）
驱动程序（在提交应用程序时启动）
执行者（提交申请时启动）
我有一些非常基本的问题，Spark时，它被设置在Yarn集群
是否有任何主守护程序或工作守护程序分别为spark启动？据我所知，Yarn集群本身的资源经理和节点经理将担任spark作业的主控和工人。从这篇文章http://blog.cloudera.com/blog/2014/05/apache-spark-resource-management-and-yarn-app-models/，看起来没有分别用于spark-on-warn的主/从守护进程。
如果以上问题的答案是否定的，那么当我们试图在现有的yarn上设置spark时，在提交spark应用程序之前是否需要启动任何持久守护程序？
spark-1.5.0-bin-hadoop2.4\sbin目录中的任何start-stop脚本在这种情况下都有用吗？
一旦驱动程序执行完毕，spark web ui就不可用。我说的对吗？
1条答案
按热度按时间7gcisfzg1#
以下是您问题的答案：-
在yarn模式中，您不需要master、worker或executors。您只需向Yarn提交申请，其余Yarn将自行管理。请参阅如何利用yarn作为集群管理器的部署部分。
如果您的Yarn集群已启动并运行，并且准备好服务，那么您不需要任何其他守护进程。
取决于你想做什么，但脚本喜欢
SPARK_HOME/sbin/spark-config.sh或者SPARK_HOME/sbin/start-history-server.sh可以使用。spark web ui仅在独立模式下可用。在执行作业时，或者需要打开历史服务器，以便在作业完成后分析作业时，可以使用驱动程序ui。