HDFS Hadoop群集中未显示数据节点

pw136qt2  于 2022-12-25  发布在  HDFS
关注(0)|答案(1)|浏览(410)

我正在尝试创建一个hadoop集群。'hdfs'启动正常,我也可以通过web接口访问它。但是,数据节点没有显示。下面是我运行jps命令得到的结果。

node1master-node。但是运行'yarn node-list'不会返回工作节点的列表。

hdfs和yarn似乎已经正常启动,下面是来自start-dfs.shstart-yarn.sh的响应。

我该怎么办?
下面是yarn-site.xml的xml文件,每个节点的内存为2GB。

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <configuration>
  4. <property>
  5. <name>yarn.acl.enable</name>
  6. <value>0</value>
  7. </property>
  8. <property>
  9. <name>yarn.resourcemanager.hostname</name>
  10. <value>node1</value>
  11. </property>
  12. <property>
  13. <name>yarn.nodemanager.aux-services</name>
  14. <value>mapreduce_shuffle</value>
  15. </property>
  16. <!-- Resource-->
  17. <property>
  18. <name>yarn.nodemanager.resource.memory-mb</name>
  19. <value>1536</value>
  20. </property>
  21. <property>
  22. <name>yarn.scheduler.maximum-allocation-mb</name>
  23. <value>1536</value>
  24. </property>
  25. <property>
  26. <name>yarn.scheduler.minimum-allocation-mb</name>
  27. <value>128</value>
  28. </property>
  29. <property>
  30. <name>yarn.nodemanager.vmem-check-enabled</name>
  31. <value>false</value>
  32. </property>
  33. </configuration>

我试过使用stop-all.sh重新启动服务,然后重新启动它们。有什么建议吗?

bqucvtff

bqucvtff1#

问题出在yarn-site.xml文件上。我应该添加资源管理器地址。如果node1是主节点的名称,则:

  1. <property>
  2. <name>yarn.resourcemanager.hostname</name>
  3. <value>node1</value>
  4. </property>
  5. <property>
  6. <name>yarn.resourcemanager.address</name>
  7. <value>node1:8032</value>
  8. </property>

谢谢!

相关问题