具有相同spark.local.dir的多个spark执行器

30byixjq  于 2021-06-26  发布在  Mesos
关注(0)|答案(1)|浏览(365)

我正在mesos docker集装箱船上运行一个spark应用程序,方法是设置以下属性。

  1. --conf 'spark.local.dir=/var/lib/spark'
  2. --conf 'spark.mesos.executor.docker.image=my_spark_docker_image'
  3. --conf 'spark.mesos.executor.docker.volumes=/var/data/x-spark:/var/lib/spark,/opt/local/mesos:/opt/local/mesos:ro'
  4. --conf 'spark.executorEnv.MESOS_NATIVE_JAVA_LIBRARY=/opt/local/mesos/lib/libmesos.so'

所有spark执行器都是docker容器(由mesos docker启动)。
一个或多个spark执行器可以在同一主机上运行。 spark.local.dir 财产是 /var/lib/spark ,由docker从主机装载。
也就是说,主机上的所有spark执行器共享相同的本地目录(/var/data/x-spark)。
看起来一切正常,但我担心文件损坏。安全吗?

hgb9j2n6

hgb9j2n61#

很安全。每个作业将创建自己的子目录。

相关问题