apachespark:mesosclusterdispatcher能否在docker容器中运行执行器?

0g0grzrc  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(318)

我正在构建一个mesos集群来运行apachespark。我更喜欢为我的spark执行器使用docker容器,我可以使用spark submit的客户机模式(使用 --master mesos://mesosmaster:5050 以及 --conf spark.mesos.executor.docker.image=myimage:latest ),但我希望在集群模式下也能做到这一点。
我运行了mesosclusterdispatcher,可以向它提交作业(使用 --master mesos://clusterdispatcher:7077 --mode cluster --supervised ),但当我指定一个docker映像供执行器使用时,调度程序似乎忽略了该参数,并试图直接在mesos沙盒中运行作业。
是否可以将集群调度器与 spark.mesos.executor.docker.image ? 我希望尽可能地从mesos中分离出spark,这样它们就可以独立升级,但显然,如果集群调度器不能使用docker映像,我将不得不重新考虑我的策略。
谢谢!

tcomlyy6

tcomlyy61#

看看这个https://github.com/wangqiang8511/docker-spark-mesos
它看起来应该可以工作,尽管我在更大的集群上部署时遇到了问题。

相关问题