我已经根据hadoop网站安装了一个伪分布式hadoop。当我运行wordcount示例时,它被困在运行info mapreduce.job:running job中。所以,我检查了rmgui,它显示内存总量和vcores总量为0。我的设置与hadoop网站相同。
3phpmpom1#
从screeshot可以清楚地看到nodemanager节点有一些问题(不健康)。请检查nodemanager日志以确定原因并进行修复。在此之后,只有您才能看到可用的内核和ram。
zc0qhyus2#
如果您在这之后遇到问题,请发布日志。您可以尝试更改以下文件中的属性mapred-site.xml文件yarn.app.mapreduce.am.resource.mb = 4000 yarn.app.mapreduce.am.command-opts = -Xmx3768m mapreduce.map.cpu.vcores = 2 mapreduce.reduce.cpu.vcores = 2 (如果已安装yarn)yarn-site.xmlyarn.resourcemanager.hostname = hostname_of_the_master yarn.nodemanager.resource.memory-mb = 4000 yarn.nodemanager.resource.cpu-vcores = 2 yarn.scheduler.minimum-allocation-mb = 4000
yarn.app.mapreduce.am.command-opts = -Xmx3768m
mapreduce.reduce.cpu.vcores = 2
yarn.nodemanager.resource.memory-mb = 4000
yarn.scheduler.minimum-allocation-mb = 4000
2条答案
按热度按时间3phpmpom1#
从screeshot可以清楚地看到nodemanager节点有一些问题(不健康)。请检查nodemanager日志以确定原因并进行修复。在此之后,只有您才能看到可用的内核和ram。
zc0qhyus2#
如果您在这之后遇到问题,请发布日志。您可以尝试更改以下文件中的属性
mapred-site.xml文件
yarn.app.mapreduce.am.resource.mb = 4000
yarn.app.mapreduce.am.command-opts = -Xmx3768m
mapreduce.map.cpu.vcores = 2mapreduce.reduce.cpu.vcores = 2
(如果已安装yarn)yarn-site.xmlyarn.resourcemanager.hostname = hostname_of_the_master
yarn.nodemanager.resource.memory-mb = 4000
yarn.nodemanager.resource.cpu-vcores = 2yarn.scheduler.minimum-allocation-mb = 4000