“Yarn”模式在hadoopYarn集群中不起作用

sdnqo3pr  于 2021-07-15  发布在  Hadoop
关注(0)|答案(0)|浏览(324)

我使用的是hadoop yarn,我将我的环境配置为物理上由两个子网组成(由访问点组成,每个子网有一个站点),但我遇到了一个问题:当我将mapreduce.framework.name“yarn”设置为“mapred site.xml”时,它不起作用:执行卡在“running”状态,并且在很长一段时间后会显示消息“map”“0%减少0%”出现并再次卡住。如果我使用默认的“local”模式,它就工作得很好。每个组件之间的通信已经用ping进行了配置和测试,应该没有问题。我发布了我的配置文件,谢谢你的帮助。
core-site.xml:

  1. <configuration>
  2. <property>
  3. <name>fs.default.name</name>
  4. <value>hdfs://giovanni-pc:9000</value>
  5. </property>
  6. </configuration>

hdfs-site.xml文件

  1. <configuration>
  2. <property>
  3. <name>dfs.replication</name>
  4. <value>2</value>
  5. </property>
  6. <property>
  7. <name>dfs.client.use.datanode.hostname</name>
  8. <value>true</value>>
  9. </property>
  10. <property>
  11. <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
  12. <value>true</value>
  13. </property>
  14. <property>
  15. <name>dfs.namenode.name.dir</name>
  16. <value>/home/hadoop/data/nameNode</value>
  17. </property>
  18. <property>
  19. <name>dfs.datanode.data.dir</name>
  20. <value>/home/hadoop/data/dataNode</value>
  21. </property>
  22. </configuration>

yarn-site.xml文件

  1. <configuration>
  2. <property>
  3. <name>yarn.nodemanager.resource.memory-mb</name>
  4. <value>1536</value>
  5. </property>
  6. <property>
  7. <description>Max available cores data node.</description>
  8. <name>yarn.nodemanager.resource.cpu-vcores</name>
  9. <value>1</value>
  10. </property>
  11. <property>
  12. <name>yarn.scheduler.maximum-allocation-mb</name>
  13. <value>1536</value>
  14. </property>
  15. <property>
  16. <name>yarn.scheduler.minimum-allocation-mb</name>
  17. <value>128</value>
  18. </property>
  19. <property>
  20. <name>yarn.nodemanager.vmem-check-enabled</name>
  21. <value>false</value>
  22. </property>
  23. <property>
  24. <name>yarn.resourcemanager.hostname</name>
  25. <value>giovanni-pc</value>
  26. </property>
  27. <property>
  28. <name>yarn.nodemanager.aux-services</name>
  29. <value>mapreduce_shuffle</value>
  30. </property>
  31. <property>
  32. <name>yarn.acl.enable</name>
  33. <value>0</value>
  34. </property>
  35. </configuration>

mapred-site.xml文件

  1. <configuration>
  2. <property>
  3. <name>yarn.app.mapreduce.am.resource.mb</name>
  4. <value>512</value>
  5. </property>
  6. <property>
  7. <name>mapreduce.map.memory.mb</name>
  8. <value>256</value>
  9. </property>
  10. <property>
  11. <name>mapreduce.reduce.memory.mb</name>
  12. <value>256</value>
  13. </property>
  14. <property>
  15. <name>mapreduce.framework.name</name>
  16. <value>yarn</value>
  17. </property>
  18. <property>
  19. <name>yarn.app.mapreduce.am.env</name>
  20. <value>HADOOP_MAPRED_HOME=/home/hadoop/hadoop</value>
  21. </property>
  22. <property>
  23. <name>mapreduce.map.env</name>
  24. <value>HADOOP_MAPRED_HOME=/home/hadoop/hadoop</value>
  25. </property>
  26. <property>
  27. <name>mapreduce.reduce.env</name>
  28. <value>HADOOP_MAPRED_HOME=/home/hadoop/hadoop</value>
  29. </property>
  30. </configuration>

工人

  1. nodename1
  2. nodename2

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题