我们通常使用以下代码删除mapreduce中的输出路径
outputPath.getFileSystem(conf).delete(outputPath,true);
我的问题是，我们能在级联中做同样的事情吗？如果是，请向我建议这样做的步骤。谢谢：）
uwopmtnx1#
如果要在下次运行mapreduce时重用输出目录，请将接收器的属性设置为sinkmode.replace。它删除hdfs output dir，mapreduce作业在重新运行之间不会失败。
Tap sink = new Hfs(<your scheme>,<your output hdfs dir>,SinkMode.REPLACE)
1条答案
按热度按时间uwopmtnx1#
如果要在下次运行mapreduce时重用输出目录，请将接收器的属性设置为sinkmode.replace。它删除hdfs output dir，mapreduce作业在重新运行之间不会失败。