hadoop:计算频率,然后在第二个map/reduce中设置变量

cngwdvgl  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(425)

在一个hadoop程序中,我有三个map/reduce作业。第一个应该计算我的数据集中的总字数。第二个和第三个map/reduce根据第一个map/reduce中的数字执行其他操作。有没有办法将第一个map/reduce的输出设置为全局变量,以便在程序的其余部分使用?
我的第一个想法是让第一个reduce步骤将数字写入输出,然后让第二个Map器读取这个文件,但我不想这样做。

balp4ylt

balp4ylt1#

尝试如下操作,在同一个类文件中编写三个map/reduce方法。

bwitn5fc

bwitn5fc2#

你能在一个工作中设置这三个工作吗?您可以定义一个全局变量来保留数字。

相关问题