当yarn运行hadoop作业时,它会陷入接受状态

jchrr9hc  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(191)

我使用virualbox在windows笔记本电脑上运行ubuntu14虚拟机。我已经为单节点配置了apache发行版hdfs和yarn。当我运行dfs和yarn时,所有需要的恶魔都在运行。当我不配置yarn并且只运行dfs时,我就可以成功地执行mapreduce作业,但是当我运行yarn并且作业被卡在接受状态时,我尝试了许多关于更改节点的内存设置的设置,但是没有成功。下面的链接我跟随设置单节点https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/singlecluster.html
core-site.xml文件

  1. `
  2. <configuration>
  3. <property>
  4. <name>fs.defaultFS</name>
  5. <value>hdfs://localhost:9000</value>
  6. </property>
  7. </configuration>`

hdfs-site.xml的设置`

  1. <configuration>
  2. <property>
  3. <name>dfs.replication</name>
  4. <value>1</value>
  5. </property>
  6. <property>
  7. <name>dfs.name.dir</name>
  8. <value>/home/shaileshraj/hadoop/name/data</value>
  9. </property>
  10. </configuration>`

mapred-site.xml的设置

  1. `<configuration>
  2. <property>
  3. <name>mapreduce.framework.name</name>
  4. <value>yarn</value>
  5. </property>
  6. </configuration>`

网站设置.xml`

  1. <property>
  2. <name>yarn.nodemanager.aux-services</name>
  3. <value>mapreduce_shuffle</value>
  4. </property>
  5. <property>
  6. <name>yarn.nodemanager.resource.memory-mb</name>
  7. <value>2200</value>
  8. <description>Amount of physical memory, in MB, that can be allocated for containers.</description>
  9. </property>
  10. <property>
  11. <name>yarn.scheduler.minimum-allocation-mb</name>
  12. <value>500</value>
  13. </property>

rm web用户界面

这是rm web ui的应用程序主屏幕。我看到的是容器没有分配,可能是这个问题

pengsaosao

pengsaosao1#

如果这个工作没有得到足够的资源,它就会陷入困境 ACCEPTED 州。每当它得到资源,它就会变成 RUNNING 州。
在你的情况下,打开 Resource Manager WebUI 并检查有多少资源可用于运行作业。

相关问题