以编程方式设置hadoop作业配置

kx7yvsdv  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(276)

我正在为reduce child获取oom异常(java堆空间)。我在文档中看到 mapred.reduce.child.java.opts 到-xmx512m或更大可能会有所帮助。因为我不是管理员,所以无法在mapred-site.xml中更改该值。我只想通过java程序为我的工作设置这个值。我试着用 Configuration 课程如下,但这不起作用。 Configuration config = new Configuration(); config.set("mapred.reduce.child.java.opts", "-Xmx512M"); JobConf conf1 = new JobConf(config, this.getClass()); hadoop的版本是1.0.3
以编程方式设置配置值的正确方法是什么?

pdsfdshx

pdsfdshx1#

正如@thomasjungblut和@octo所指出的,我在问题中提到的程序是正确的方法。oom异常仍然存在,因此我将启动一个新线程,而不是在这里继续。

相关问题