作为stack hadoop的初学者,我想通过oozie使用spark submit运行我的spark作业。有一个包含src编译项目文件的jar,我还有一组属性文件(大约20个)。我想,当运行我的spark作业时,我们可以从包含我的spark作业编译jar的文件夹旁边的另一个文件夹加载这些属性文件。我试过:
在我的job.properties of oozie中,我补充道:
oozie.libpath=[文件夹的路径,包括我的所有属性文件]和oozie.use.system.libpath=true。
在spark submit命令中,我添加了--files或--properties文件,但它不起作用(它不接受文件夹)
谢谢您的建议,如果我的问题不清楚,请随时询问。
暂无答案!
目前还没有任何答案,快来回答吧!