如何在mr框架(hadoop)中对只有数字的文件进行排序

piah890a  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(340)

我有一个文件,只包含数字(逗号分隔),我们需要排序的数字(数字列表将包含重复)?我想知道mr框架的每个阶段的输入和输出,即map阶段的输入和reduce阶段的输入

bnlyeluc

bnlyeluc1#

mr中的排序是由比较程序执行的,它基于关键索引。
因此,我建议在mapper函数中创建integer作为键输出,并且值应该是相同的整数。
所以,你会有:

Mapper: <Interger, Interger>
Reducer: <Interger, Interger>

相关问题