我正在尝试将apache spark设置为在mesos上运行,但在终端上收到以下消息:
w0309 10:37:10.570291 4017附表。cpp:700]忽略框架注册的消息,因为它是从master@127.0.1.1:5050'代替主控'master@127.0.0.1:5050'
这个消息一直出现在spark shell上,我无法运行任何命令。我使用以下命令启动spark shell:
./bin/spark-shell --master mesos://127.0.0.1:5050 --conf spark.executor.uri=/home/user/spark/spark-1.6.0-bin-hadoop2.6.tgz
当我检查mesoswebui上的framework选项卡时,sparkshell被列为一个框架。
你知道我为什么面对上面的消息而不能从sparkshell运行命令吗?或者,有什么好的参考资料可以在mesos上运行spark?
1条答案
按热度按时间ep6jt1vc1#
我会在这里做一些任务,但我假设你没有指定一个
--ip
启动时的参数mesos-master.sh
. 在这种情况下,您应该将启动脚本更改为:./bin/spark-shell --master mesos://127.0.1.1:5050 --conf spark.executor.uri=/home/user/spark/spark-1.6.0-bin-hadoop2.6.tgz
我猜你有127.0.1.1
进入你的/etc/hosts
(或在您的系统上用于该解决方案的任何文件)并且mesos正在解决127.0.1.1
默认情况下。你可以用ip
参数将其更改为127.0.0.1
如果你出于某种原因喜欢的话。