hadoop—在reducer的configure方法中调用progress或increase counter

7gcisfzg  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(260)

有可能吗?
上下文:我的reducer配置方法需要从distributedcache读取一组文件(总大小约为150mb)。然而,我不知道为什么hadoop要花这么长时间才能杀死一些reducer,尽管事实上有一些reducer已经成功地完成了。
我使用旧的api,在那里我只能访问configure方法中的jobconf变量。
我的想法是让reporter变量成为一个字段,然后我可以在configure方法中调用它。但在调用reduce之前似乎先调用configure。

mec1mxoz

mec1mxoz1#

转换你的代码使用新的api!
然后在 setup() ,您可以访问 context 变量和调用 progress() 具体如下:

@Override
        protected void setup(Context context) throws IOException, InterruptedException {
context.progress();
}

相关问题