我正在寻找一种方法来设置配置单元中任务的应用程序优先级。当任务被提交时,我想给它设置一个高优先级(比如100)。此参数见第页:我在找一个类似“set mapreduce.map.memory.mb=4096;”的参数,所以我可以为这个任务设置优先级。
gz5pxeao1#
在配置单元会话中,也可以在map reduce程序配置中设置相同的属性:
SET mapreduce.job.priority=VERY_HIGH;
对于作业id:
hadoop job -set-priority <job-id> <priority>
有五种可能的优先级:
VERY_HIGH HIGH NORMAL LOW VERY_LOW
队列优先级配置:https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/capacityscheduler.html#setup_for_application_priority.
1条答案
按热度按时间gz5pxeao1#
在配置单元会话中,也可以在map reduce程序配置中设置相同的属性:
对于作业id:
有五种可能的优先级:
队列优先级配置:https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/capacityscheduler.html#setup_for_application_priority.