mapreduce—如果Map程序中途失败,hadoop重新尝试该Map程序,自定义计数器会发生什么情况

92vpleto  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(180)

我有一个Map器,它从数据库读取数据,并用“读取数”计数器和“已处理记录”计数器更新计数器。如果Map程序在5月之间由于没有足够的资源运行而失败,那么计数器会发生什么情况?是否重置?在我的例子中,数据非常庞大,大约有4000万条记录。它花了3天和92个退休完成,但在运行的工作,计数器是好的,但当它终止计数器值减半,无法理解请帮助。

mcdcgff0

mcdcgff01#

每个任务计数器(mapper或reducer)都与任务尝试相关,因此当任务尝试失败(由于bug/io问题)或终止(推测性执行)时,相关计数器将被丢弃。

相关问题