将位置参数传递给Dataproc无服务器PySpark script.py

vojdkbi0  于 2023-10-15  发布在  Spark
关注(0)|答案(1)|浏览(86)

我运行了下面的语句,但它未能向script.py传递参数(--args argument="xyz")。我尝试以不同的方式传递参数,但脚本失败并返回错误**IndexError: list index out of range**。
有人能帮帮忙吗?先谢了。

命令:

gcloud dataproc batches submit pyspark gs://path/script.py \
--project xxx \
--region xxx  \
--batch xxx \
--version 2.1 \
--deps-bucket='xxx' \
--staging-bucket='xxx' \
--service-account xxx  \
--subnet xxx
--args argument="xyz"

错误:

param=sys.argv[1]
               ~~~~~~~~^^^
IndexError: list index out of range
rxztt3cl

rxztt3cl1#

尝试类似以下的操作(基本上将'--args'替换为'--'。注意“--”后面的空格):
gcloud dataproc批量提交pyspark gs://path/script.py
--项目xxx
--区域xxx
--批次xxx
--版本2.1
--deps-bucket='xxx'
--staging-bucket='xxx'
--服务帐户xxx
--subnet xxx -- argument=“xyz”

相关问题