MapReduceJava程序说明

axkjgtzd  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(264)

这个问题不太可能帮助任何未来的游客;它只与一个小的地理区域、一个特定的时刻或一个非常狭窄的情况有关,而这些情况通常不适用于互联网的全球受众。有关使此问题更广泛适用的帮助,请访问帮助中心。
8年前关门了。

public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
                String line = value.toString();
            StringTokenizer tokenizer = new StringTokenizer(line);
            while (tokenizer.hasMoreTokens()) {
              word.set(tokenizer.nextToken());
              output.collect(word, one);
            }
          }
        }

我想了解一下map reduce中map函数的基本程序,输入参数是什么?我找不到Map的定义。
如果有人能告诉我这个函数在做什么,那就太好了

pbpqsu0x

pbpqsu0x1#

我假设这是在带有textinputformat的map reduce作业中使用的。我还假设“one”是某种表示数字1的全局范围的intwriteable。
在这种情况下,将为文件中的每一行调用map函数。键是一个数字,表示文件中行的起点的偏移量。值是行的文本值。
这里的map函数使用一个stringtokenizer来分割空白中的每一行,并将每个单词和数字1作为其输出。
假设您的输入文件如下所示:
lorem ipsum悲哀坐在阿梅特
阿迪皮斯精英
临时合同条款
Map器将发出以下键和值:
洛雷姆,1
同侧脸,1
多洛,1
坐下,1
阿梅特,1
圣骑士团,1
再见,1
埃利特,1
塞德,1
做,1
埃乌斯莫德,1
临时,1
开始,1
这可能是字数Map减少作业的一部分。

相关问题