apachespark和mesos在单个节点上运行

mwg9r5ms  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(413)

我有兴趣在mesos上测试spark。我在virtualbox中创建了一个hadoop2.6.0单节点集群,并在其上安装了spark。我可以使用spark成功地处理hdfs中的文件。
然后我在同一个节点上安装了mesos master和slave。我尝试使用这些指令在mesos中运行spark作为一个框架。spark出现以下错误:
warn taskschedulerimpl:初始作业未接受任何资源;
检查集群ui以确保worker已注册并且具有足够的资源
sparkshell已成功注册为mesos中的一个框架。使用单节点设置有什么问题吗?或者我是否需要添加更多spark worker节点?
我对spark非常陌生,我的目标是测试spark、hdfs和mesos。

x3naxklr

x3naxklr1#

如果为spark从属服务器分配了足够的资源,则原因可能是防火墙阻止了通信。看看我的另一个答案:
ApacheSpark on mesos:初始作业未接受任何资源

相关问题