在我的mapper类中，我逐行读取文件，并对每行执行一些字符串操作（即从字符串中删除特殊字符），然后在reducer中将每行存储在一个新文件中。基本上，我的reducer只创建文件并在新文件上写每一行，其他什么都不写，所以我的Map器有可能创建文件，而不是将数据传递给reducer。这意味着我不想在mapper中使用reducer并执行它的操作。我对mapreduce了解不多，所以任何类型的帮助都是值得赞赏的
2wnc66cl1#
是的，你想要的是非常有可能的，你需要的是一个Map只工作。i、 这是一项只有绘图员而没有缩小器的工作。实现它的方法是在driver类中将减速器的数量设置为0。
job.setNumReduceTasks(0);
关于这个主题的更详细的博客可以在这里找到要为每个输入行生成一个文件，请考虑直接从Map器（即filesystem和filestatus）使用hdfsapi
1条答案
按热度按时间2wnc66cl1#
是的，你想要的是非常有可能的，你需要的是一个Map只工作。i、 这是一项只有绘图员而没有缩小器的工作。
实现它的方法是在driver类中将减速器的数量设置为0。
关于这个主题的更详细的博客可以在这里找到
要为每个输入行生成一个文件，请考虑直接从Map器（即filesystem和filestatus）使用hdfsapi