我目前在集群中有高功率（cpu/ram）主机，我们正在考虑添加一些好的存储但低功率的主机。我担心这会降低工作绩效。来自新主机（功能较弱）的map/reducer将运行较慢，而功能较强的主机只需等待结果。有没有办法在yarn中配置这个？可以为主机设置优先级，或者根据每台机器上的内核数分配Map器/还原器。谢谢，霍拉修
hmtdttj41#
在yarn中，您可以为每个集群worker提供不同的硬件资源配置。然后，yarn将决定每个worker可以分配多少任务（容器）来平衡工作负载。换句话说，您可以在中设置不同数量的内核和内存 yarn-site.xml 分别为每个工人。这两个配置选项与您相关： yarn.nodemanager.resource.cpu-vcores 设置每个当前工作节点的cpu核心数 yarn.nodemanager.resource.memory-mb 设置可在当前工作节点上使用的物理内存量（mb）
yarn-site.xml
yarn.nodemanager.resource.cpu-vcores
yarn.nodemanager.resource.memory-mb
1条答案
按热度按时间hmtdttj41#
在yarn中，您可以为每个集群worker提供不同的硬件资源配置。然后，yarn将决定每个worker可以分配多少任务（容器）来平衡工作负载。
换句话说，您可以在中设置不同数量的内核和内存
yarn-site.xml分别为每个工人。这两个配置选项与您相关：
yarn.nodemanager.resource.cpu-vcores设置每个当前工作节点的cpu核心数yarn.nodemanager.resource.memory-mb设置可在当前工作节点上使用的物理内存量（mb）