我运行kubernetespodoperator来执行spark submit调用:
spark_image = f'{getenv("REGISTRY")}/myApp:{getenv("TAG")}'
j2g = KubernetesPodOperator(
dag=dag,
task_id='myApp',
name='myApp',
namespace='data',
image=spark_image,
cmds=['/opt/spark/bin/spark-submit'],
configmaps=["data"],
arguments=[
'--master k8s://https://10.96.0.1:443',
'--deploy-mode cluster',
'--name myApp',
f'--conf spark.kubernetes.container.image={spark_image}',
'local:///app/run.py'
],
但是,我得到以下错误:
Error: Unrecognized option: --master k8s://https://10.96.0.1:443
这很奇怪,因为当我bin/bash到一个正在运行的pod并执行spark submit命令时,它就工作了。
你知道怎么按预期传递论点吗?
1条答案
按热度按时间zqry0prt1#
github票证的解决方案:参数应按如下方式发送: