hadoop上分配了多少内存和vcore？

44u64gxh 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(411)

我想问一下，在hadoopyarn中，无论是在yarn-site.xml还是mapred-site.xml上，都有像最小和最大内存或vcore这样的属性。我有点搞不清楚，实际上分配了多少内存和vcore，因为在配置上我们只写最小值和最大值，而不是实际大小。
如果我有16 gb内存和4 vcore，并且配置如下：

yarn.scheduler.minimum-allocation-mb = 1024
yarn.scheduler.maximum-allocation-mb = 8192
yarn.scheduler.minimum-allocation-vcores = 1
yarn.scheduler.maximum-allocation-vcores = 32
yarn.nodemanager.resource.memory-mb = 8192
yarn.nodemanager.resource.cpu-vcores = 8

那么实际上，我的计算机为一个容器分配了多少内存和vcore？
仅此而已，太多了

hadoop yarn Memory Core Allocation

来源：https://stackoverflow.com/questions/30046996/how-much-memory-and-vcore-allocated-on-hadoop-yarn

1条答案

按热度按时间

jqjz2hbq1#

Yarn是通用资源管理器，您可以使用它的各种应用程序，如mapreduce，Spark，Hive，Kafka。。。。
因此，在yarn中，我们定义了应用程序可以请求的每个容器的最小和最大内存/核心数，实际内存和所需核心数在特定应用程序中定义。
在mapreduce中，我们在mapred-site.xml中定义了分配给map和reduce任务的内核和内存。

<property>
    <name>mapreduce.map.cpu.vcores</name>
    <value>1</value>
</property>

<property>
    <name>mapreduce.reduce.cpu.vcores</name>
    <value>1</value>
</property>

<property>
    <name>mapreduce.map.memory.mb</name>
    <value>6144</value>
    <description>The value specified is in MB(s)</description>
</property>

<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>6144</value>
    <description>The value specified is in MB(s)</description>
</property>

赞(0）回复(0）举报 2021-06-02

我来回答

hadoop上分配了多少内存和vcore？

1条答案

相关问题

热门标签

最新问答