不使用spark的docker图像工具为k8s构建spark图像

sc4hvdpw  于 2021-05-24  发布在  Spark
关注(0)|答案(0)|浏览(203)

我有一个基于debian的docker映像,我想用它作为安装spark的基础映像,以便与kubernetes一起使用。该图包括Java8。我看过的所有spark+k8s指南都通过以下类似的步骤树立了全新的形象:

./build/mvn -Pkubernetes -DskipTests clean package -Phadoop-<version> -Dhadoop.version=<version>
bin/docker-image-tool.sh -r <docker repo> -t v2.4.1 build
bin/docker-image-tool.sh -r <docker repo> -t v2.4.1 push

在看 build/mvn , bin/docker-image-tool.sh ,以及spark的kubernetes dockerfile,看起来我可以如下替换这些步骤:

FROM my_dockerfile:1.0 

# Download and unzip Spark tarball from Spark mirror, set $SPARK_HOME, etc.

# Run additional steps from Spark's k8s Dockerfile (L30-L43).

ENTRYPOINT [ "/opt/entrypoint.sh" ]

这样做合理吗?或者出于某种原因我必须使用spark的docker图像工具吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题