kubernetespodoperator未按预期发送参数

tpxzln5u  于 2021-05-17  发布在  Spark
关注(0)|答案(1)|浏览(495)

我运行kubernetespodoperator来执行spark submit调用:

spark_image = f'{getenv("REGISTRY")}/myApp:{getenv("TAG")}'
j2g = KubernetesPodOperator(
    dag=dag,
    task_id='myApp',
    name='myApp',
    namespace='data',
    image=spark_image,
    cmds=['/opt/spark/bin/spark-submit'],
    configmaps=["data"],
    arguments=[
        '--master k8s://https://10.96.0.1:443',
        '--deploy-mode cluster',
        '--name myApp',
        f'--conf spark.kubernetes.container.image={spark_image}',
        'local:///app/run.py'
    ],

但是,我得到以下错误:

Error: Unrecognized option: --master k8s://https://10.96.0.1:443

这很奇怪,因为当我bin/bash到一个正在运行的pod并执行spark submit命令时,它就工作了。
你知道怎么按预期传递论点吗?

zqry0prt

zqry0prt1#

github票证的解决方案:参数应按如下方式发送:

'--master=k8s://https://10.96.0.1:443',

相关问题