基于键/值对将输出减少到所需文件(hadoop)

s6fujrry  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(375)

是否可以基于密钥将reducer输出发送到多个文件?比如,

if(key1)
 {
        //output to file1 using context.write() or otherwise
  }
 else
 {
        //output to file2 using context.write() or otherwise
 }
t0ybt7op

t0ybt7op1#

您应该能够在减速机中使用条件逻辑和 MultipleOutputs 上课来完成你想做的事情。他们有一个如何在javadoc链接中实现这一点的示例。

tvokkenx

tvokkenx2#

另一种可能的方法是实现自定义分区器。这样就可以运行两个(多个)reducer并根据键的值进行相应的分区。

相关问题