我想问一下,在hadoopyarn中,无论是在yarn-site.xml还是mapred-site.xml上,都有像最小和最大内存或vcore这样的属性。我有点搞不清楚,实际上分配了多少内存和vcore,因为在配置上我们只写最小值和最大值,而不是实际大小。
如果我有16 gb内存和4 vcore,并且配置如下:
yarn.scheduler.minimum-allocation-mb = 1024
yarn.scheduler.maximum-allocation-mb = 8192
yarn.scheduler.minimum-allocation-vcores = 1
yarn.scheduler.maximum-allocation-vcores = 32
yarn.nodemanager.resource.memory-mb = 8192
yarn.nodemanager.resource.cpu-vcores = 8
那么实际上,我的计算机为一个容器分配了多少内存和vcore?
仅此而已,太多了
1条答案
按热度按时间jqjz2hbq1#
Yarn是通用资源管理器,您可以使用它的各种应用程序,如mapreduce,Spark,Hive,Kafka。。。。
因此,在yarn中,我们定义了应用程序可以请求的每个容器的最小和最大内存/核心数,实际内存和所需核心数在特定应用程序中定义。
在mapreduce中,我们在mapred-site.xml中定义了分配给map和reduce任务的内核和内存。