pyspark ApacheSpark:Spark Executor Pod无法从注册表/存储库中提取Docker映像

velaa5lx  于 2023-01-20  发布在  Spark
关注(0)|答案(1)|浏览(153)

我是ApacheSpark的新手。
我正在尝试使用pyspark运行spark会话。我已经为它配置了2个执行器节点。现在这两个执行器节点都需要拉取我的自定义spark映像,该映像位于存储库中。
下面是我的spark会话/作业的python配置

spark = SparkSession.builder.appName('sparkpi-test1'
).master("k8s://https://kubernetes.default:443"
).config("spark.kubernetes.container.image", "\<repo\>"
).config("spark.kubernetes.authenticate.caCertFile", "/var/run/secrets/kubernetes.io/serviceaccount/ca.crt"
).config("spark.kubernetes.authenticate.oauthTokenFile", "/var/run/secrets/kubernetes.io/serviceaccount/token"
).config("spark.kubernetes.authenticate.driver.serviceAccountName", "spark-driver-0"
).config("spark.executor.instances", 2
).config("spark.driver.host", "test"
).config("spark.driver.port", "20020"
).config("spark.serializer", "org.apache.spark.serializer.KryoSerializer"
).config("spark.sql.hive.convertMetastoreParquet", "false"
).config("spark.jars.packages", "org.apache.hudi:hudi-spark3.3-bundle_2.12:0.12.1,org.apache.spark:spark-avro_2.12:3.1.2"
).config("spark.kubernetes.node.selector.testNodeCategory", "ondemand"
).getOrCreate()

Spark测试1 - 2341 a185 c8144 b60-执行-1 0/1
图像拉回后退0 5小时17米Spark测试1 - 2341 a185 c8144 b60-执行-2 0/1
图像回拉0 5小时17分钟
所以,如果我做错了,请纠正我。我试图在我现有的kubernetes集群中使用我在某个repo中定制的spark映像来安装Spark。我在python文件的配置中提到了同样的问题。
).config(“Spark.kubernetes.容器.图像”,““
根据文件

Container image to use for the Spark application. This is usually of the form example.com/repo/spark:v1.0.0. This configuration is required and must be provided by the user, unless explicit images are provided for each different container type.

为什么我的执行器节点无法从注册表中拉取映像?我如何暂时手动为执行器节点拉取映像?
仅供参考查找以下错误消息

WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

我猜上面的错误消息是因为我的执行器pod没有成功创建。

hgc7kmma

hgc7kmma1#

我知道了。我正在使用terraform构建所有资源。.tfstate文件被更改,导致pod出现这些错误
清除地形缓存解决了我的问题。
要清除terraform缓存,请运行

rm -rf .terraform

在你的地形目录中

相关问题