按顺序运行hadoopMap器

guz6ccqo  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(297)

我有这个任务与多个Map,Map1和Map2。我需要它以这种方式执行:map1->map2->reducer。我该怎么做?非常感谢!

hmtdttj4

hmtdttj41#

请看一下链表
http://hadoop.apache.org/docs/stable2/api/org/apache/hadoop/mapred/lib/chainmapper.html
chainmapper类允许在一个Map任务中使用多个Map器类。
更新op担心Map不是连续的。事实并非如此——正如源代码注解和代码本身所证实的:

  1. Mapper mapper = chain.getFirstMap();
  2. if (mapper != null) {
  3. mapper.map(key, value, chain.getMapperCollector(0, output, reporter),
  4. reporter);
  5. }

相关问题