关于能够运行机器学习工作与Spark。Yarn调度程序和spark独立调度程序哪个更好?
hrysbysz1#
在运行实际的spark作业时没有区别。如果集群中运行着不同的spark应用程序和/或其他组件(当然支持yarn/mesos),那么yarn/mesos可以帮助您安排资源。spark独立群集无法管理资源。也就是说,如果启动一个spark应用程序并且它使用了所有的资源,那么第二个应用程序将找不到任何剩余的资源。这意味着你必须自己做这件事(例如相应地调整spark配置)
1条答案
按热度按时间hrysbysz1#
在运行实际的spark作业时没有区别。
如果集群中运行着不同的spark应用程序和/或其他组件(当然支持yarn/mesos),那么yarn/mesos可以帮助您安排资源。
spark独立群集无法管理资源。也就是说,如果启动一个spark应用程序并且它使用了所有的资源,那么第二个应用程序将找不到任何剩余的资源。这意味着你必须自己做这件事(例如相应地调整spark配置)