有谁能帮我了解一下任务计数器和工作计数器在Map上的区别吗?hadoop的权威指南说,任务计数器是随着任务的进行而更新的计数器,而作业计数器是随着作业的进行而更新的计数器。这是唯一的区别还是他们还有别的区别?
yb3bgrhw1#
任务计数器任务计数器在任务执行过程中收集有关任务的信息,并将结果聚合到作业中的所有任务上。任务计数器每次都会被完全发送,而不是发送自上次传输以来的计数,因为这样可以防止由于消息丢失而导致的错误。此外,在作业运行期间,如果任务失败,计数器可能会下降例如,您不想在失败任务的拆分中添加坏的\u记录。因此,当任务进行并成功完成时,任务统计信息的总计数将发送给task tracker,后者将被传递给job tracker。作业计数器作业计数器由jobtracker(或yarn中的应用程序主机)维护,因此它们不需要通过网络发送,与所有其他计数器不同,它们测量作业级别统计信息,而不是在任务运行时更改的值,例如,total_launched_maps统计已启动的总图任务数,这只是有关整个作业的统计信息
1条答案
按热度按时间yb3bgrhw1#
任务计数器
任务计数器在任务执行过程中收集有关任务的信息,并将结果聚合到作业中的所有任务上。任务计数器每次都会被完全发送,而不是发送自上次传输以来的计数,因为这样可以防止由于消息丢失而导致的错误。此外,在作业运行期间,如果任务失败,计数器可能会下降例如,您不想在失败任务的拆分中添加坏的\u记录。因此,当任务进行并成功完成时,任务统计信息的总计数将发送给task tracker,后者将被传递给job tracker。
作业计数器
作业计数器由jobtracker(或yarn中的应用程序主机)维护,因此它们不需要通过网络发送,与所有其他计数器不同,它们测量作业级别统计信息,而不是在任务运行时更改的值,例如,total_launched_maps统计已启动的总图任务数,这只是有关整个作业的统计信息