我使用virualbox在windows笔记本电脑上运行ubuntu14虚拟机。我已经为单节点配置了apache发行版hdfs和yarn。当我运行dfs和yarn时,所有需要的恶魔都在运行。当我不配置yarn并且只运行dfs时,我就可以成功地执行mapreduce作业,但是当我运行yarn并且作业被卡在接受状态时,我尝试了许多关于更改节点的内存设置的设置,但是没有成功。下面的链接我跟随设置单节点https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/singlecluster.html
core-site.xml文件
`
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>`
hdfs-site.xml的设置`
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/shaileshraj/hadoop/name/data</value>
</property>
</configuration>`
mapred-site.xml的设置
`<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>`
网站设置.xml`
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2200</value>
<description>Amount of physical memory, in MB, that can be allocated for containers.</description>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>500</value>
</property>
rm web用户界面
这是rm web ui的应用程序主屏幕。我看到的是容器没有分配,可能是这个问题
1条答案
按热度按时间pengsaosao1#
如果这个工作没有得到足够的资源,它就会陷入困境
ACCEPTED
州。每当它得到资源,它就会变成RUNNING
州。在你的情况下,打开
Resource Manager WebUI
并检查有多少资源可用于运行作业。