我提交的aws电子病历Spark工作。在s3 bucket中有一个配置文件我正在传递spark submit。配置文件是在python文件中使用的。spark提交命令: 'Args': ['spark-submit','--deploy-mode', 'cluster','--master', 'yarn','--executor-memory', conf['emr_step_executor_memory'],'--executor-cores', conf['emr_step_executor_cores'],'--conf','spark.yarn.submit.waitAppCompletion=true','--conf','spark.rpc.message.maxSize=1024',f'{s3_path}/file1.py', '--py-files',f'{s3_path}/file2.py',f'{s3_path}/file3.py',f'{s3_path}/file4.py','--files',**f'{s3_path}/config
**]
请参阅下面的代码,了解如何在file3.py中使用spark submit传递配置文件:
config = configparser.ConfigParser()
config.readfp(open(config'))
但上面的代码是抛出一个错误,上面的指令是无法读取配置文件和抛出一个找不到文件的错误。
注意:我不能硬代码s3路径读取配置文件唯一的选项,我必须通过从spark提交配置文件。
暂无答案!
目前还没有任何答案,快来回答吧!