用zookeeper在mesos上运行一个简单的spark脚本

ni65a41a  于 2021-06-21  发布在  Mesos
关注(0)|答案(2)|浏览(364)

我想运行一个简单的spark程序,但受到一些错误的限制。我的环境是:centos:6.6 java:1.7.0\u 51 scala:2.10.4 spark:spark-1.4.0-bin-hadoop2.6 mesos:0.22.1
所有的都安装好了,节点都启动了。现在我有一个mesos主节点和mesos从节点。我的spark属性如下:

spark.app.id            20150624-185838-2885789888-5050-1291-0005
spark.app.name          Spark shell
spark.driver.host   192.168.1.172
spark.driver.memory 512m
spark.driver.port   46428
spark.executor.id   driver
spark.executor.memory   512m
spark.executor.uri  http://192.168.1.172:8080/spark-1.4.0-bin-hadoop2.6.tgz
spark.externalBlockStore.folderName spark-91aafe3b-01a8-4c86-ac3b-999e278807c5
spark.fileserver.uri    http://192.168.1.172:51240
spark.jars  
spark.master            mesos://zk://192.168.1.172:2181/mesos
spark.mesos.coarse  true
spark.repl.class.uri    http://192.168.1.172:51600
spark.scheduler.mode    FIFO

现在,当我启动spark时,会出现scala提示符(scala>)。之后我得到以下错误:mesos task 1现在task\失败了,黑名单mesos slave value由于失败太多是spark安装在它上面如何解决这个问题。

7gcisfzg

7gcisfzg1#

您可以查看mesos从属日志/任务信息,以获取有关任务失败原因的更多信息。你可以看看:5050。
可能不相关的问题:你真的有Zookeeper吗

spark.master mesos://zk://192.168.1.172:2181/mesos

跑步(如你所说你只有一个主人)?

jum4pzuy

jum4pzuy2#

只有900mb和 spark.driver.memory = 512m ,则可以启动scheduler/repl,但内存不足 spark.executor.memory = 512m ,因此任何任务都将失败。增加vm内存大小或减少驱动程序/执行程序内存需求将帮助您绕过这些内存限制。

相关问题