我有两个Map器和两个还原器(1和2)。我的驱动程序类运行两个作业,它们接收两个不同的输入文件并输出两个不同的输出文件(同样,1和2)。因此job1与inputfile1、outputfile1、map1和reduce1相关联;类似于job2。
reduce1使用context.write输出形式(id,number)的数据。我的目标是在reduce2中访问这些键值对,但我不知道如何访问。我尝试过在reduce1中执行conf.setint,但是没有将这些值传递到reduce2,因为在执行conf.getint时没有得到它们。
1条答案
按热度按时间bnlyeluc1#
回到这里,根据我的经验,您将输出写入一条路径,然后以该路径作为输入运行另一个作业。。。
理论上,如果在一个程序中添加更多的代码,就可以在一个程序中创建两个作业
waitForCompletion
第一个作业的方法