我有一个Map器,它从数据库读取数据,并用“读取数”计数器和“已处理记录”计数器更新计数器。如果Map程序在5月之间由于没有足够的资源运行而失败,那么计数器会发生什么情况?是否重置?在我的例子中,数据非常庞大,大约有4000万条记录。它花了3天和92个退休完成,但在运行的工作,计数器是好的,但当它终止计数器值减半,无法理解请帮助。
mcdcgff01#
每个任务计数器(mapper或reducer)都与任务尝试相关,因此当任务尝试失败(由于bug/io问题)或终止(推测性执行)时,相关计数器将被丢弃。
1条答案
按热度按时间mcdcgff01#
每个任务计数器(mapper或reducer)都与任务尝试相关,因此当任务尝试失败(由于bug/io问题)或终止(推测性执行)时,相关计数器将被丢弃。