我在笔记本电脑上安装了Hadoop,当我在Hadoop上提交一个作业时(尽管是MapReduce和Tez),状态总是ACCEPTED,但进度总是停留在0%,描述写着“等待AM容器分配”。当我通过YARN UI(localhost:8088)检查节点时,显示活动节点为
但是从HDFS UI(localhost:50070)中,它显示有一个活动节点。
这是否是由于没有可用节点而导致作业卡住的主要原因?如果是这样,我该怎么办?
qq24tv8q1#
在您的YARN UI中,它显示您有零vcore和零内存,因此由于您缺乏计算资源,任何作业都无法运行。datanode仅用于存储(在本例中为HDFS),至于您的应用程序为什么卡住并不重要。要解决这个问题,您需要更新yarn-site.xml,并提供下面描述的内存和vcore属性的设置:http://blog.cloudera.com/blog/2015/10/untangling-apache-hadoop-yarn-part-2/您可以考虑使用Cloudera QuickStart VM或Hortonworks Sandbox(至少作为yarn-site.xml的配置值的参考)。https://www.cloudera.com/downloads/quickstart_vms/5-10.htmlhttps://hortonworks.com/products/sandbox/
vbopmzt12#
你应该做的第一件事是检查NodeManager是否启动并运行。如果没有,那么在Resourcemanager UI中将不会显示活动节点。在terminal中,运行:
jps
如果结果中没有列出NodeManager,请运行:
yarn --daemon start nodenamager
2条答案
按热度按时间qq24tv8q1#
在您的YARN UI中,它显示您有零vcore和零内存,因此由于您缺乏计算资源,任何作业都无法运行。datanode仅用于存储(在本例中为HDFS),至于您的应用程序为什么卡住并不重要。
要解决这个问题,您需要更新yarn-site.xml,并提供下面描述的内存和vcore属性的设置:
http://blog.cloudera.com/blog/2015/10/untangling-apache-hadoop-yarn-part-2/
您可以考虑使用Cloudera QuickStart VM或Hortonworks Sandbox(至少作为yarn-site.xml的配置值的参考)。
https://www.cloudera.com/downloads/quickstart_vms/5-10.htmlhttps://hortonworks.com/products/sandbox/
vbopmzt12#
你应该做的第一件事是检查NodeManager是否启动并运行。如果没有,那么在Resourcemanager UI中将不会显示活动节点。
在terminal中,运行:
如果结果中没有列出NodeManager,请运行: