hadoop集群map REDUCT job卡在map 100%,减少0%

wgmfuz8q  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(416)

我是hadoop新手。我尝试根据apachehadoop站点上给出的示例创建hadoop集群。
但是,当我运行map reduce示例时,应用程序被卡在map 100%和reduce 0%上。
请帮忙
我已经设置了使用流浪汉和虚拟盒的环境。创建了两个示例。
我在一个示例中运行名称节点和数据节点,在另一个示例中运行资源管理器和节点管理器。
mapred-siet.xml配置

<configuration>

<!-- Map Reduce applications configuration -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.map.memory.mb</name>
    <value>1536</value>
</property>
<property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx1024M</value>
</property>
<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>3072</value>
</property>
<property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx2560M</value>
</property>
<property>
    <name>mapreduce.task.io.sort.mb</name>
    <value>512</value>
</property>
<property>
    <name>mapreduce.task.io.sort.factor</name>
    <value>100</value>
</property>
<property>
    <name>mapreduce.reduce.shuffle.parallelcopies</name>
    <value>50</value>
</property>

<!-- Map Reduce Job History Server -->
<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/mr-history/tmp</value>
</property>
<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/mr-history/done</value>
</property>

yarn-site.xml文件

e<configuration>
<!-- Resource Manager -->
<property>
    <name>yarn.acl.enable</name>
    <value>false</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>
<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
</property>
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>4096</value>
</property>

<!-- Node Manager -->
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
</property>  
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property> 
<property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/opt/hadoop-2.6.2/tempData</value>
</property>  
<property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/opt/hadoop-2.6.2/logDir</value>
</property> 
<property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>10800</value>
</property> 
<property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/logs</value>
</property> 
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property> 

<!-- History Server -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>-1</value>
</property>   
<property>
    <name>yarn.log-aggregation.retain-check-interval-seconds</name>
    <value>-1</value>
</property>
bxjv4tth

bxjv4tth1#

我现在可以运行应用程序了。因为我认为这是系统所需内存的问题。我更改了以下属性:yarn.scheduler.maximum-allocation-mb8192

<!-- Node Manager -->
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8192</value>
</property>

重复这个过程。现在工作正常了。

相关问题