HDFS Hadoop群集中未显示数据节点

pw136qt2  于 2022-12-25  发布在  HDFS
关注(0)|答案(1)|浏览(402)

我正在尝试创建一个hadoop集群。'hdfs'启动正常,我也可以通过web接口访问它。但是,数据节点没有显示。下面是我运行jps命令得到的结果。

node1master-node。但是运行'yarn node-list'不会返回工作节点的列表。

hdfs和yarn似乎已经正常启动,下面是来自start-dfs.shstart-yarn.sh的响应。

我该怎么办?
下面是yarn-site.xml的xml文件,每个节点的内存为2GB。

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>yarn.acl.enable</name>
        <value>0</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname</name>                
        <value>node1</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        </property>
    <!-- Resource-->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1536</value>
    </property>

    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>1536</value>
    </property>

    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>128</value>
    </property>

    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

我试过使用stop-all.sh重新启动服务,然后重新启动它们。有什么建议吗?

bqucvtff

bqucvtff1#

问题出在yarn-site.xml文件上。我应该添加资源管理器地址。如果node1是主节点的名称,则:

<property>
    <name>yarn.resourcemanager.hostname</name>                
    <value>node1</value>
</property>

<property>
    <name>yarn.resourcemanager.address</name>
    <value>node1:8032</value>
</property>

谢谢!

相关问题