java—如何在mapreduce中将信息从一个缩减器传递到另一个缩减器

oxcyiej7  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(265)

我有两个Map器和两个还原器(1和2)。我的驱动程序类运行两个作业,它们接收两个不同的输入文件并输出两个不同的输出文件(同样,1和2)。因此job1与inputfile1、outputfile1、map1和reduce1相关联;类似于job2。
reduce1使用context.write输出形式(id,number)的数据。我的目标是在reduce2中访问这些键值对,但我不知道如何访问。我尝试过在reduce1中执行conf.setint,但是没有将这些值传递到reduce2,因为在执行conf.getint时没有得到它们。

bnlyeluc

bnlyeluc1#

回到这里,根据我的经验,您将输出写入一条路径,然后以该路径作为输入运行另一个作业。。。
理论上,如果在一个程序中添加更多的代码,就可以在一个程序中创建两个作业 waitForCompletion 第一个作业的方法

相关问题