如何强制级联中的减速机?

nfzehxib  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(342)

要获得某些好处,只能使用还原器,而不是Map器。

8hhllhi2

8hhllhi21#

在谷歌群组中找到我的答案:
使用 GroupBy 在执行分组时,哪个常量将使用减缩器:

previousPipe = new GroupBy(previousPipe); //this does a Group on Fields.All

减少文件数量(另一种耦合较少的替代方案)

previousPipe = new GroupBy(previousPipe, new Fields("rand"), 
               new RandonNumGen(Fields.Args));

其中new randonnumgen(fields.args)是一个构建函数 Function 创建一个新的字段(“rand”),创建临时随机数(临时的意思是稍后删除该字段)。
有关更多信息,请查看此google groups线程:

相关问题