我正在构建一个mesos集群来运行apachespark。我更喜欢为我的spark执行器使用docker容器,我可以使用spark submit的客户机模式(使用 --master mesos://mesosmaster:5050
以及 --conf spark.mesos.executor.docker.image=myimage:latest
),但我希望在集群模式下也能做到这一点。
我运行了mesosclusterdispatcher,可以向它提交作业(使用 --master mesos://clusterdispatcher:7077 --mode cluster --supervised
),但当我指定一个docker映像供执行器使用时,调度程序似乎忽略了该参数,并试图直接在mesos沙盒中运行作业。
是否可以将集群调度器与 spark.mesos.executor.docker.image
? 我希望尽可能地从mesos中分离出spark,这样它们就可以独立升级,但显然,如果集群调度器不能使用docker映像,我将不得不重新考虑我的策略。
谢谢!
1条答案
按热度按时间tcomlyy61#
看看这个https://github.com/wangqiang8511/docker-spark-mesos
它看起来应该可以工作,尽管我在更大的集群上部署时遇到了问题。