我正在运行map only(number of reducer=0)map reduce流作业。在mapper代码的末尾,我显式地编写了map的输出。但是,有时我的一些Map器任务会失败。
我希望在hdfs中看到完成的Map器的输出。我的逻辑是因为没有减速机,所以输出应该直接写入hdfs。但是,我在output hdfs文件夹中看不到任何数据,以防单个Map器出现故障。为什么会这样?我的理解有什么缺陷吗?
我正在运行map only(number of reducer=0)map reduce流作业。在mapper代码的末尾,我显式地编写了map的输出。但是,有时我的一些Map器任务会失败。
我希望在hdfs中看到完成的Map器的输出。我的逻辑是因为没有减速机,所以输出应该直接写入hdfs。但是,我在output hdfs文件夹中看不到任何数据,以防单个Map器出现故障。为什么会这样?我的理解有什么缺陷吗?
暂无答案!
目前还没有任何答案,快来回答吧!