nullwritable的用途

e3bfsja2  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(470)

我想数一数订了电影票的学生人数,在减量阶段后我只想要一个输出。我希望Map器发出学生数量的计数,而不是键。我是否可以使用nullwriteable作为输出键,这样就不会从map端发出任何东西作为reduce端的键?如下图所示

context.write(NullWritable.get(),new IntWritable(1);

数据将被发送到reducer,reducer将执行进一步的聚合
如果有人有更好的选择,请提出建议。
提前谢谢!!

tyg4sfes

tyg4sfes1#

相反,可以将贴图输出作为

context.write(new Text("number of students"),new IntWritable(1));

在driver.com中将减速器的数量设置为1,然后可以对减速器侧的值求和。
假设您只需要输出文件中的值,在这种情况下不需要键,那么您可以使用nullwriteable。

context.write(NullWritable.get(),value)

相关问题