在mrunit中设置配置

fzwojiic  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(454)

我一直在mrunit文档中搜索,但到目前为止还没有找到。。如何在mrunit中传递配置参数。
举个例子,以wordcount为例。
比方说,在我的驱动程序代码中,我设置了这个参数。。。

conf.set("delimiter",args[2])

在我的mapper代码中,我称之为:

String delimiter = conf.get("delimiter");
String [] tokens = value.toString().split(delimiter);
for (String token:tokens)
   context.write(token,one);

如何设置此配置参数。
我一直在研究这个例子:https://github.com/wpm/hadoop-word-count/blob/master/src/test/java/wpmcn/hadoop/wordcounttest.java
谢谢

d7v8vwbk

d7v8vwbk1#

使用mapdriver.withconfiguration

Configuration conf = new Configuration();
 conf.set("delimiter", someValue);
 myMapDriver.withConfiguration(conf);
y3bcpkx1

y3bcpkx12#

我有类似的问题,我解决了它在下面的代码给出。

mapDriver.withInput(key, value);
mapDriver.getConfiguration().set("my.config.param", "my.config.param.value");
.....
.....
mapDriver.run();

请注意,在这种情况下mapdriver.getcontext().getconfiguration可能不起作用,因为上下文对象是api中的模拟对象。

相关问题