Yarn UI在HDFS UI中显示时未显示活动节点

vhipe2zx  于 2023-09-28  发布在  HDFS
关注(0)|答案(2)|浏览(251)

我在笔记本电脑上安装了Hadoop,当我在Hadoop上提交一个作业时(尽管是MapReduce和Tez),状态总是ACCEPTED,但进度总是停留在0%,描述写着“等待AM容器分配”。
当我通过YARN UI(localhost:8088)检查节点时,显示活动节点为

但是从HDFS UI(localhost:50070)中,它显示有一个活动节点。

这是否是由于没有可用节点而导致作业卡住的主要原因?如果是这样,我该怎么办?

qq24tv8q

qq24tv8q1#

在您的YARN UI中,它显示您有vcore和内存,因此由于您缺乏计算资源,任何作业都无法运行。datanode仅用于存储(在本例中为HDFS),至于您的应用程序为什么卡住并不重要。
要解决这个问题,您需要更新yarn-site.xml,并提供下面描述的内存和vcore属性的设置:
http://blog.cloudera.com/blog/2015/10/untangling-apache-hadoop-yarn-part-2/
您可以考虑使用Cloudera QuickStart VM或Hortonworks Sandbox(至少作为yarn-site.xml的配置值的参考)。
https://www.cloudera.com/downloads/quickstart_vms/5-10.htmlhttps://hortonworks.com/products/sandbox/

vbopmzt1

vbopmzt12#

你应该做的第一件事是检查NodeManager是否启动并运行。如果没有,那么在Resourcemanager UI中将不会显示活动节点。
在terminal中,运行:

jps

如果结果中没有列出NodeManager,请运行:

yarn --daemon start nodenamager

相关问题