在reducer之后运行函数

lqfhib0f  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(300)

java中是否有一个函数在reducer函数完成后执行一次。我想做的是尝试细化来自reducer的输出,所以我需要在reducer完成算法后运行一些代码是否有可能的方法来做到这一点。

jdzmm42g

jdzmm42g1#

你可以使用 ChainReducer 添加尽可能多的 Mappers 就像你想的那样 Reducer 在同一个任务中。
如果你想申请其他 Reducer ,则需要使用标识Map器和要执行的reducer任务启动一个新任务。
如文件所述:
使用chainmapper和chainreducer类可以组成类似于[map+/reduce map*]的map/reduce作业。这种模式的直接好处是大大减少了磁盘io。

相关问题