我有一个关于 mapreduce.job.speculative.slowtaskthreshold
.
医生说:
一个任务的平均进度率必须低于所有正在运行的任务的平均值的标准差的数目,这样才能认为该任务太慢。
我很好奇当一个过程被认为“太慢”时会发生什么。它会杀死并重新启动它吗?只是杀人?我很好奇,因为我想我可能遇到了一个竞争条件,并希望调整参数,以尽量减少问题。
资料来源:http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
1条答案
按热度按时间c86crjj01#
对于推测执行,当框架判断某个任务“太慢”时,它将在不同的节点上推测执行同一个任务。一旦两个任务中的一个成功完成,另一个任务将被终止。