在处理错误时，需要问几个问题：
如果数据验证中发生错误，是否应停止作业。大多数大数据用例都可以留下一些不良记录。但是如果你的用例想要所有的记录都足够好，你应该做出这个决定并进入下面的步骤。
有时，最好让作业通过跳过坏记录来运行，或者同时使用以下技术获取问题（错误），并在继续进行时进行纠正和修改。
您希望错误发生，但只发生有限的次数。那么在整个作业停止之前，可以抛出多少次异常，如下所示
对于Map任务：mapreduce.map.maxattempts属性
对于reducer任务：mapreduce.reduce.maxattempts
默认值为4
处理格式错误的数据。
所以我们决定处理格式错误的数据。然后定义坏记录的条件。你可以用计数器，快速给你不良记录的数量。
在mapper类中，

enum Temperature { OVER_10 }

内部Map方法，
//解析记录

if(value > 10) {
    System.err.println("Temperature over 100 degrees for input: " + value);
    context.setStatus("Detected possibly corrupt record: see logs.");
    context.getCounter(Temperature.OVER_10).increment(1);      
}

使用上述方法，处理所有记录，并根据坏记录添加计数器。您可以在作业结束时、作业统计之后、通过web ui或从shell命令查看计数器值。

$mapred job -counter <job_id> '${fully_qualified_class_name}' ${enum_name}
$mapred job -counter job_1444655904448_17959 'com.YourMapper$Temperature' OVER_10

一旦你知道问题的影响，即坏记录的数量，我们就需要知道“为什么它是坏的”。为此，我们需要转到日志并搜索错误消息。
yarn提供日志聚合，并将所有日志合并为一个作业id，并存储在hdfs中。它可以被使用

yarn logs -applicationId <application ID>