有没有办法在hadoop中终止reducer任务？

btxsgosb 于 2021-06-03 发布在 Hadoop

关注(0)|答案(3)|浏览(423)

运行几个map reduce作业，一个作业接管所有reducer容量。有没有办法杀死一个或两个reducer任务来释放集群？
我可以直接转到tasktracker服务器并手动终止java进程。但我想知道有没有更体面的方法？

3条答案

首先找到作业id:

hadoop job -list

现在，干掉这份工作：

hadoop job -kill <job_ID_goes_here>

hadoop job -kill-task [attempt-id] 其中，可以从ui获得尝试id。

您可以通过以下方式终止任务尝试：

hadoop job -kill-task [task_attempt_id]

要获取任务尝试id，您需要深入到任务的一个层次（通过单击job tracker上的任务超链接）。