使用lambda时,aws emr中的spark submit命令失败

wdebmtf2  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(276)

我正在尝试通过lambda从aws emr集群运行spark作业。我有一些属性文件需要jar引用才能运行该作业。我使用了spark submit的--files选项来执行此操作,但它没有将这些文件复制到emr,也没有从s3 bucket引用。下面是我的spark submit命令在aws lambda中的外观。

Steps=[
            {
                'Name': 'DSM SourceDataLoading',
                'ActionOnFailure': 'CONTINUE',
                'HadoopJarStep': {
                     'Jar': 'command-runner.jar',
                     'Args': [
                              'spark-submit', 
                              '--class', 'com.somejarsclassname', 
                              '--files','s3n://test-buck/conf/security.properties',
                              '--master', 'yarn', 
                              '--deploy-mode', 'client', 
                              's3n://test-buck/jar/ssembly-0.1.jar' 
                             ]
                }
            }
        ]

我看到我的jar无法引用s3中的security.properties文件。任何关于这方面的线索都将有助于引用lambda中的属性文件

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题