读取从pyspark submit命令传递的配置文件

0lvr5msh  于 2021-05-24  发布在  Spark
关注(0)|答案(0)|浏览(317)

我提交的aws电子病历Spark工作。在s3 bucket中有一个配置文件我正在传递spark submit。配置文件是在python文件中使用的。spark提交命令: 'Args': ['spark-submit','--deploy-mode', 'cluster','--master', 'yarn','--executor-memory', conf['emr_step_executor_memory'],'--executor-cores', conf['emr_step_executor_cores'],'--conf','spark.yarn.submit.waitAppCompletion=true','--conf','spark.rpc.message.maxSize=1024',f'{s3_path}/file1.py', '--py-files',f'{s3_path}/file2.py',f'{s3_path}/file3.py',f'{s3_path}/file4.py','--files',**f'{s3_path}/config**]
请参阅下面的代码,了解如何在file3.py中使用spark submit传递配置文件:

config = configparser.ConfigParser()
config.readfp(open(config'))

但上面的代码是抛出一个错误,上面的指令是无法读取配置文件和抛出一个找不到文件的错误。
注意:我不能硬代码s3路径读取配置文件唯一的选项,我必须通过从spark提交配置文件。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题