我想数一数订了电影票的学生人数,在减量阶段后我只想要一个输出。我希望Map器发出学生数量的计数,而不是键。我是否可以使用nullwriteable作为输出键,这样就不会从map端发出任何东西作为reduce端的键?如下图所示
context.write(NullWritable.get(),new IntWritable(1);
数据将被发送到reducer,reducer将执行进一步的聚合如果有人有更好的选择,请提出建议。提前谢谢!!
tyg4sfes1#
相反,可以将贴图输出作为
context.write(new Text("number of students"),new IntWritable(1));
在driver.com中将减速器的数量设置为1,然后可以对减速器侧的值求和。假设您只需要输出文件中的值,在这种情况下不需要键,那么您可以使用nullwriteable。
context.write(NullWritable.get(),value)
1条答案
按热度按时间tyg4sfes1#
相反,可以将贴图输出作为
在driver.com中将减速器的数量设置为1,然后可以对减速器侧的值求和。
假设您只需要输出文件中的值,在这种情况下不需要键,那么您可以使用nullwriteable。