java中是否有一个函数在reducer函数完成后执行一次。我想做的是尝试细化来自reducer的输出,所以我需要在reducer完成算法后运行一些代码是否有可能的方法来做到这一点。
jdzmm42g1#
你可以使用 ChainReducer 添加尽可能多的 Mappers 就像你想的那样 Reducer 在同一个任务中。如果你想申请其他 Reducer ,则需要使用标识Map器和要执行的reducer任务启动一个新任务。如文件所述:使用chainmapper和chainreducer类可以组成类似于[map+/reduce map*]的map/reduce作业。这种模式的直接好处是大大减少了磁盘io。
ChainReducer
Mappers
Reducer
1条答案
按热度按时间jdzmm42g1#
你可以使用
ChainReducer
添加尽可能多的Mappers
就像你想的那样Reducer
在同一个任务中。如果你想申请其他
Reducer
,则需要使用标识Map器和要执行的reducer任务启动一个新任务。如文件所述:
使用chainmapper和chainreducer类可以组成类似于[map+/reduce map*]的map/reduce作业。这种模式的直接好处是大大减少了磁盘io。