我正在尝试通过lambda从aws emr集群运行spark作业。我有一些属性文件需要jar引用才能运行该作业。我使用了spark submit的--files选项来执行此操作,但它没有将这些文件复制到emr,也没有从s3 bucket引用。下面是我的spark submit命令在aws lambda中的外观。
Steps=[
{
'Name': 'DSM SourceDataLoading',
'ActionOnFailure': 'CONTINUE',
'HadoopJarStep': {
'Jar': 'command-runner.jar',
'Args': [
'spark-submit',
'--class', 'com.somejarsclassname',
'--files','s3n://test-buck/conf/security.properties',
'--master', 'yarn',
'--deploy-mode', 'client',
's3n://test-buck/jar/ssembly-0.1.jar'
]
}
}
]
我看到我的jar无法引用s3中的security.properties文件。任何关于这方面的线索都将有助于引用lambda中的属性文件
暂无答案!
目前还没有任何答案,快来回答吧!