两者有什么区别 hadoop job -kill job_id 以及 yarn application -kill application_id ? 作业id和应用程序id是否表示/引用同一任务?
hadoop job -kill job_id
yarn application -kill application_id
o2gm4chl1#
hadoop job -kill job_id 以及 yarn application -kill application_id 这两个命令都用于终止在hadoop上运行的作业。如果您使用的是mapreduceversion1(mrv1),并且希望终止在hadoop上运行的作业,那么可以使用 hadoop job -kill job_id 终止一个作业,它将终止所有作业(运行和排队)。在mapreduce版本2中(mr v2或yarn),当您提交mapreduce作业时,它将通过应用程序主控程序进行处理,从而处理名为application的作业。应用程序中可能有多个任务正在运行。如果您想终止一个应用程序,那么您可以使用 yarn application -kill application_id 命令终止应用程序。它将杀死应用程序下所有正在运行和排队的作业。如果你想在Yarn中杀死一个任务,那么你可以使用 hadoop job -kill-task <task-id> 干掉一个特定的任务此链接将有助于了解在Yarn中的应用和工作。
hadoop job -kill-task <task-id>
rta7y2nd2#
application\u id是与应用程序主机关联的id。除了id前面的前缀application\和job\之外,这两个id是一个相同的(将具有相同的id值)。两者仅代表同一工作!!
3phpmpom3#
如果您使用kill命令的yarn版本,资源管理器会在am不知情的情况下终止am,因此它不会生成历史记录。如果您使用hadoop job-kill job \u id,那么killing过程将通过am,它将允许生成历史记录
3条答案
按热度按时间o2gm4chl1#
hadoop job -kill job_id
以及yarn application -kill application_id
这两个命令都用于终止在hadoop上运行的作业。如果您使用的是mapreduceversion1(mrv1),并且希望终止在hadoop上运行的作业,那么可以使用
hadoop job -kill job_id
终止一个作业,它将终止所有作业(运行和排队)。在mapreduce版本2中(mr v2或yarn),当您提交mapreduce作业时,它将通过应用程序主控程序进行处理,从而处理名为application的作业。应用程序中可能有多个任务正在运行。如果您想终止一个应用程序,那么您可以使用
yarn application -kill application_id
命令终止应用程序。它将杀死应用程序下所有正在运行和排队的作业。如果你想在Yarn中杀死一个任务,那么你可以使用
hadoop job -kill-task <task-id>
干掉一个特定的任务此链接将有助于了解在Yarn中的应用和工作。
rta7y2nd2#
application\u id是与应用程序主机关联的id。除了id前面的前缀application\和job\之外,这两个id是一个相同的(将具有相同的id值)。
两者仅代表同一工作!!
3phpmpom3#
如果您使用kill命令的yarn版本,资源管理器会在am不知情的情况下终止am,因此它不会生成历史记录。如果您使用hadoop job-kill job \u id,那么killing过程将通过am,它将允许生成历史记录