在map reduce作业之间传递变量

2mbi3lxu  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(294)

我无法理解如何将变量(输出)从job1传递到job2。
假设我的工作是字数统计。最终减速机输出n=230。
我的第二份工作需要这些信息。但我不想它作为一个Map输入。我希望输入与job1相同。
我不喜欢使用计数器,因为我读到它不太可靠。
谢谢

7vux5j2d

7vux5j2d1#

可以将n传递给第二个作业,将n添加到第二个作业配置对象。要向配置添加任何键/值,可以使用提交作业的客户端的“set”方法。然后,从Map器中,可以使用“get”方法检索配置中的n值。查看“configuration”文档,您会发现“get”、“set”和许多专门的方法,具体取决于要添加的值的原始类型。

相关问题