在大数据集群中运行作业的上下文中，我曾多次听到“限制”这个词。这里还提到：https://issues.apache.org/jira/browse/yarn-6428这是什么意思？
u0njafvf1#
这是一个可以保证集群不会被实时锁定的设置。map reduce作业有一个am，它生成Map器和reducer。如果您的队列只有am任务，那么您就不能运行任何Map器或缩减器，这意味着您的am都无法完成，并且您也不能做任何有意义的工作。你在一个实时锁定的场景中。capacity scheduler和fair scheduler都有一种方法来限制ams可以持有的任务的百分比。在容量调度器中查找 yarn.scheduler.capacity.maximum-am-resource-percent . 在寻找 maxAMShare .
yarn.scheduler.capacity.maximum-am-resource-percent
maxAMShare
1条答案
按热度按时间u0njafvf1#
这是一个可以保证集群不会被实时锁定的设置。map reduce作业有一个am，它生成Map器和reducer。如果您的队列只有am任务，那么您就不能运行任何Map器或缩减器，这意味着您的am都无法完成，并且您也不能做任何有意义的工作。你在一个实时锁定的场景中。
capacity scheduler和fair scheduler都有一种方法来限制ams可以持有的任务的百分比。在容量调度器中查找
yarn.scheduler.capacity.maximum-am-resource-percent. 在寻找maxAMShare.