我有这个任务与多个Map,Map1和Map2。我需要它以这种方式执行:map1->map2->reducer。我该怎么做?非常感谢!
hmtdttj41#
请看一下链表http://hadoop.apache.org/docs/stable2/api/org/apache/hadoop/mapred/lib/chainmapper.htmlchainmapper类允许在一个Map任务中使用多个Map器类。更新op担心Map不是连续的。事实并非如此——正如源代码注解和代码本身所证实的:
Mapper mapper = chain.getFirstMap();if (mapper != null) { mapper.map(key, value, chain.getMapperCollector(0, output, reporter), reporter);}
Mapper mapper = chain.getFirstMap();
if (mapper != null) {
mapper.map(key, value, chain.getMapperCollector(0, output, reporter),
reporter);
}
1条答案
按热度按时间hmtdttj41#
请看一下链表
http://hadoop.apache.org/docs/stable2/api/org/apache/hadoop/mapred/lib/chainmapper.html
chainmapper类允许在一个Map任务中使用多个Map器类。
更新op担心Map不是连续的。事实并非如此——正如源代码注解和代码本身所证实的: