我正在使用amazonemr（hadoop0.20.205）并注意到我的一个任务处于一种奇怪的状态（见下文）。第二次任务尝试已启动，尽管我的第一次尝试仍在运行。我的其他任务都是通过一次任务尝试完成的。原因是什么？
+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Task Attempts | Machine | Status | Progress | Start Time | Shuffle Finished | Sort Finished | Finish Time | Errors | Task Logs | Counters | Actions |
|--------------------------------------+-----------------------------+---------+----------+----------------------+-------------------------------------+-----------------------------+-------------+--------+-----------+----------+---------|
| | | | 66.69% | | | | | | Last 4KB | | |
| attempt_201209121354_0021_r_000017_0 | /default-rack/xxx... | RUNNING | | 13-Sep-2012 13:10:28 | 13-Sep-2012 13:16:48 (6mins, 19sec) | 13-Sep-2012 13:16:58 (9sec) | | | Last 8KB | 0 | |
| | | | +------+ | | | | | | All | | |
| | | | +------+ | | | | | | | | |
|--------------------------------------+-----------------------------+---------+----------+----------------------+-------------------------------------+-----------------------------+-------------+--------+-----------+----------+---------|
| | | | 66.69% | | | | | | Last 4KB | | |
| attempt_201209121354_0021_r_000017_1 | /default-rack/xxx... | RUNNING | | 13-Sep-2012 13:14:55 | 13-Sep-2012 13:18:58 (4mins, 3sec) | 13-Sep-2012 13:19:00 (2sec) | | | Last 8KB | 0 | |
| | | | +------+ | | | | | | All | | |
| | | | +------+ | | | | | | | | |
+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
2条答案
按热度按时间2ekbmq321#
首先，您启用了推测执行（如matt所示，默认情况下是启用的）。现在，推测性执行非常有用，例如，如果您的hadoop服务器并不都相同，而且有些服务器比其他服务器更新/更快。
在我们以前的hadoop集群中，我见过很多第二个示例比第一个更快完成的情况。
yws3nbqq2#
hadoop默认使用推测执行。它将启动同一任务的两个示例，一旦其中一个完成，它将杀死尚未完成的那个示例。任务完成后，WebUI通常会从作业的网页中删除推测性任务（至少在20.2中是这样）。