我有一个作业在32个spot示例上使用hadoop0.20运行。它已经运行了9个小时，没有任何错误。在此期间，它已经处理了3800个任务，但我注意到只有两个任务似乎被卡住了，并且已经单独运行了几个小时（显然是响应了，因为它们没有超时）。这些任务通常不会超过15分钟。我不想失去所有已经完成的工作，因为这花了我很多钱。我真的很想终止这两个任务，让hadoop重新分配它们，或者把它们算作失败。在他们停止之前，我无法从其他3798Map上得到reduce结果！
但我不知道怎么做。我考虑过尝试找出哪些示例正在运行这些任务，然后终止这些示例，但是
我不知道该如何找出哪些是罪魁祸首
恐怕会产生意想不到的影响。
我如何只杀死个别Map任务？
2条答案
按热度按时间ar5n3qh51#
ssh到lorand提到的主节点，并执行：
5n0oy7gb2#
通常，在hadoop群集上，可以通过发出以下命令终止特定任务：
这将终止给定的map任务，并使用新的id在不同的节点上重新提交它。
为了得到
attemp_id在上导航Jobtracker的web UI要查看相关的Map任务，请单击该任务并注意其id（例如：attempt\u 201210111830\u 0012\u m\u0000000）