我花了太多时间试图找到如何通过aws emr的javaapi提交mapreduce作业时正确设置类路径及其优先级。文档似乎没有提供任何细节,通过几天的谷歌搜索,我没有成功地找到任何合适的例子。有人能帮助正确设置类路径吗?
基本问题是,我的代码使用各种java库(例如guava version>=17),创建的emr集群上可用的库的默认版本是非常旧的版本,我想为我的作业提供这些JAR的新版本:假设我在“/home/hadoop/lib/”位置中有所有需要的JAR。如何将这些设置为首选版本(或替换默认路径中的版本)?
我尝试过各种方法,但都没有成功:在创建集群时通过json配置设置“hadoop env”分类中的“hadoop\u classpath”和“mapreduce.application.classpath”分类中的“mapreduce.site”。
此外,是否有可以设置的各种有效环境变量的列表?
暂无答案!
目前还没有任何答案,快来回答吧!