是否可以基于密钥将reducer输出发送到多个文件?比如,
if(key1) { //output to file1 using context.write() or otherwise } else { //output to file2 using context.write() or otherwise }
t0ybt7op1#
您应该能够在减速机中使用条件逻辑和 MultipleOutputs 上课来完成你想做的事情。他们有一个如何在javadoc链接中实现这一点的示例。
MultipleOutputs
tvokkenx2#
另一种可能的方法是实现自定义分区器。这样就可以运行两个(多个)reducer并根据键的值进行相应的分区。
2条答案
按热度按时间t0ybt7op1#
您应该能够在减速机中使用条件逻辑和
MultipleOutputs
上课来完成你想做的事情。他们有一个如何在javadoc链接中实现这一点的示例。tvokkenx2#
另一种可能的方法是实现自定义分区器。这样就可以运行两个(多个)reducer并根据键的值进行相应的分区。