我在yarn-site.xml中将我的最大分配vcores设置为1，将物理核心数设置为2。所有节点都相同。但是，有时，yarn会将3个容器分配给一个节点。它报告该节点上有-1个vCore可用。最终发生的是nodemanager在该节点上关闭，作业失败。如何防止Yarn过多地分配Yarn？其他节点可用，使用了0个vCore。我已经指定了可以分配的最小和最大vcore数量以及每个节点的物理vcore数量。当我看Yarn报告时，一切看起来都正常。
jogvjijk1#
这个答案就是你想要的。不幸的是，在执行这些分配时，默认的行为似乎是只考虑内存。幸运的是，这可以更改，请参阅链接的答案。我觉得所有关于yarn的文档都欺骗了我，因为我发现没有任何东西提到这个更改是必需的，但是有很多关于如何设置vcore值的博客/帖子。
1条答案
按热度按时间jogvjijk1#
这个答案就是你想要的。不幸的是，在执行这些分配时，默认的行为似乎是只考虑内存。幸运的是，这可以更改，请参阅链接的答案。
我觉得所有关于yarn的文档都欺骗了我，因为我发现没有任何东西提到这个更改是必需的，但是有很多关于如何设置vcore值的博客/帖子。