有可能吗?上下文:我的reducer配置方法需要从distributedcache读取一组文件(总大小约为150mb)。然而,我不知道为什么hadoop要花这么长时间才能杀死一些reducer,尽管事实上有一些reducer已经成功地完成了。我使用旧的api,在那里我只能访问configure方法中的jobconf变量。我的想法是让reporter变量成为一个字段,然后我可以在configure方法中调用它。但在调用reduce之前似乎先调用configure。
mec1mxoz1#
转换你的代码使用新的api!然后在 setup() ,您可以访问 context 变量和调用 progress() 具体如下:
setup()
context
progress()
@Override protected void setup(Context context) throws IOException, InterruptedException { context.progress(); }
1条答案
按热度按时间mec1mxoz1#
转换你的代码使用新的api!
然后在
setup()
,您可以访问context
变量和调用progress()
具体如下: