public class MyCombinerNewApi
extends Reducer<Text, IntWritable, Text, IntWritable> {
}
public class MyCombinerOldApi
implements Reducer<Text, IntWritable, Text, IntWritable> {
}
combiner类有时与reducer类相同(如字数计算示例中所示)。 一些很好的链接更详细地解释了组合器: phillipe adjimun关于“使用或不使用组合器”的博客 pro hadoop书籍组合器
2条答案
按热度按时间bqucvtff1#
一个合并器扩展
Reducer
接口,其签名应发出与其使用的键/值类型相同的键/值类型,例如,字数组合器具有以下签名(对于新的o.a.h.mapreduce
而且很老o.a.h.mapred
Package ):combiner类有时与reducer类相同(如字数计算示例中所示)。
一些很好的链接更详细地解释了组合器:
phillipe adjimun关于“使用或不使用组合器”的博客
pro hadoop书籍组合器
ffscu2ro2#
合路器是小型减速机。它们跟减速机本身一样