<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
<description>
The ResourceCalculator implementation to be used to compare
Resources in the scheduler.
The default i.e. DefaultResourceCalculator only uses Memory while
DominantResourceCalculator uses dominant-resource to compare
multi-dimensional resources such as Memory, CPU etc.
</description> </property>
1条答案
按热度按时间ryevplcw1#
你需要管理员权限才能做到这一切
如何将hadoop使用的节点数限制为1或2。
停用2-3个节点
如何控制hadoop为节点使用的核心数
在yarn-site.xml的config下面设置,以便为每个节点分配8个vcore
同时更新capacity-scheduler.xml中的yarn.scheduler.capacity.resource-calculator,因为defaultresourcecalculator只使用内存。