我想运行一个简单的spark程序,但受到一些错误的限制。我的环境是:centos:6.6 java:1.7.0\u 51 scala:2.10.4 spark:spark-1.4.0-bin-hadoop2.6 mesos:0.22.1
所有的都安装好了,节点都启动了。现在我有一个mesos主节点和mesos从节点。我的spark属性如下:
spark.app.id 20150624-185838-2885789888-5050-1291-0005
spark.app.name Spark shell
spark.driver.host 192.168.1.172
spark.driver.memory 512m
spark.driver.port 46428
spark.executor.id driver
spark.executor.memory 512m
spark.executor.uri http://192.168.1.172:8080/spark-1.4.0-bin-hadoop2.6.tgz
spark.externalBlockStore.folderName spark-91aafe3b-01a8-4c86-ac3b-999e278807c5
spark.fileserver.uri http://192.168.1.172:51240
spark.jars
spark.master mesos://zk://192.168.1.172:2181/mesos
spark.mesos.coarse true
spark.repl.class.uri http://192.168.1.172:51600
spark.scheduler.mode FIFO
现在,当我启动spark时,会出现scala提示符(scala>)。之后我得到以下错误:mesos task 1现在task\失败了,黑名单mesos slave value由于失败太多是spark安装在它上面如何解决这个问题。
2条答案
按热度按时间7gcisfzg1#
您可以查看mesos从属日志/任务信息,以获取有关任务失败原因的更多信息。你可以看看:5050。
可能不相关的问题:你真的有Zookeeper吗
跑步(如你所说你只有一个主人)?
jum4pzuy2#
只有900mb和
spark.driver.memory = 512m
,则可以启动scheduler/repl,但内存不足spark.executor.memory = 512m
,因此任何任务都将失败。增加vm内存大小或减少驱动程序/执行程序内存需求将帮助您绕过这些内存限制。