我在两个相同版本的hdfs集群之间分发一个文件，当我执行失败时，我想找到失败的mapreduce任务和相关文件路径，然后重放。
xnifntxz1#
复制“重试”实际上已经发生了（mapred.map.max.attempts次）。如果再次运行distcp，它将只尝试复制尚未复制的文件。（由前一个distcp在重新执行时成功复制的文件将被标记为“跳过”。）如果您想要记录无法复制的档案，您可以指定' -i '和-log <logdir>。这样会忽略失败，但会写出更完整的记录，记录失败的项目和原因。
mapred.map.max.attempts
-i
-log <logdir>
1条答案
按热度按时间xnifntxz1#
复制“重试”实际上已经发生了（
mapred.map.max.attempts次）。如果再次运行distcp，它将只尝试复制尚未复制的文件。（由前一个distcp在重新执行时成功复制的文件将被标记为“跳过”。）
如果您想要记录无法复制的档案，您可以指定'
-i'和-log <logdir>。这样会忽略失败，但会写出更完整的记录，记录失败的项目和原因。