mapreduce—在hadoop中有没有从reducer收集输出的方法?

njthzxwz  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(486)

有没有一种方法可以收集减速机的输出并防止它写入文件?我想在写入文件之前对减少的输出进行排序。

bqujaahr

bqujaahr1#

不,没有办法。mapreduce作业必须完成将结果写入文件。
如果我理解正确,您希望以某种方式对reducer输出进行排序,而不是按传递给reducer的键进行默认排序。
有两种可能的方法:
将map阶段的输出键改为reduce阶段的数据排序键。
如果第一种方法是不可能的,您可以排序由另一个mapreduce作业或不同的工具输出的减速器。您可以从指定主作业的输出目录作为排序作业的输入目录的同一驱动程序中,在主作业之后立即开始排序作业。

相关问题