“Yarn”模式在hadoopYarn集群中不起作用

sdnqo3pr  于 2021-07-15  发布在  Hadoop
关注(0)|答案(0)|浏览(274)

我使用的是hadoop yarn,我将我的环境配置为物理上由两个子网组成(由访问点组成,每个子网有一个站点),但我遇到了一个问题:当我将mapreduce.framework.name“yarn”设置为“mapred site.xml”时,它不起作用:执行卡在“running”状态,并且在很长一段时间后会显示消息“map”“0%减少0%”出现并再次卡住。如果我使用默认的“local”模式,它就工作得很好。每个组件之间的通信已经用ping进行了配置和测试,应该没有问题。我发布了我的配置文件,谢谢你的帮助。
core-site.xml:

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://giovanni-pc:9000</value>
    </property>
</configuration>

hdfs-site.xml文件

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>

    <property>
        <name>dfs.client.use.datanode.hostname</name>
        <value>true</value>>
    </property>

    <property>
        <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
        <value>true</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/data/nameNode</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/data/dataNode</value>
    </property>
</configuration>

yarn-site.xml文件

<configuration>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1536</value>
    </property>

    <property>
        <description>Max available cores data node.</description>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>

    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>1536</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>128</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>giovanni-pc</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.acl.enable</name>
        <value>0</value>
    </property>
</configuration>

mapred-site.xml文件

<configuration>
    <property>
        <name>yarn.app.mapreduce.am.resource.mb</name>
        <value>512</value>
    </property>
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>256</value>
    </property>
    <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>256</value>
    </property>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=/home/hadoop/hadoop</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=/home/hadoop/hadoop</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=/home/hadoop/hadoop</value>
    </property>
</configuration>

工人

nodename1
nodename2

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题