对于cloudera5.4hadoop集群,spark独立调度器或yarn调度器更好吗?

pieyvz9o  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(311)

关于能够运行机器学习工作与Spark。Yarn调度程序和spark独立调度程序哪个更好?

hrysbysz

hrysbysz1#

在运行实际的spark作业时没有区别。
如果集群中运行着不同的spark应用程序和/或其他组件(当然支持yarn/mesos),那么yarn/mesos可以帮助您安排资源。
spark独立群集无法管理资源。也就是说,如果启动一个spark应用程序并且它使用了所有的资源,那么第二个应用程序将找不到任何剩余的资源。这意味着你必须自己做这件事(例如相应地调整spark配置)

相关问题