如何使用cdh4和yarn查看hadoop作业历史和日志?

v1uwarro  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(533)

我用yarn下载了hadoop的cdh4 tar,作业运行良好,但我不知道从哪里可以查看作业的日志。在mrv1中,我只需访问jobtracker web应用程序,它就有了工作历史记录。也可以从这里或者通过logs/userlogs目录访问各个作业的日志。
在我的新yarn设置中(仅在一台计算机上运行),我有logs目录,但没有logs/userlogs文件夹。
当我转到resourcemanager网页时,localhost:8088,有一个“所有应用程序”部分,但此处不显示任何条目。当我进入工作历史网页时,localhost:19888,没有列出任何作业。
我想知道是否有配置问题。以下是myyarn-site.xml条目:

<property>
  <name>yarn.nodemanager.local-dirs</name> 
  <value>/Users/dolan/cdh4/_hadoop_data/yarn/local</value>
</property> 
<property> 
  <name>yarn.nodemanager.log-dirs</name>
  <value>/Users/dolan/cdh4/_hadoop_data/yarn/logs</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.address</name>
  <value>localhost:10020</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>localhost:19888</value> 
</property>
<property>
  <name>yarn.app.mapreduce.am.staging-dir</name>
  <value>/user</value>
</property>

任何关于调试的提示都非常感谢。
更新:我检查了nodemanager log dir,它是空的。此外,jobhistory目录为空。奇怪的是hadoop告诉我, INFO mapreduce.Job: The url to track the job: http://localhost:8080/ ,但当我尝试使用浏览器时,该地址不可用。
更新#2:我注意到我运行的每个作业都有相同的作业id(“job#local#0001”)。这似乎是某个地方的配置问题。

6l7fqoea

6l7fqoea1#

听起来这里的工作是在本地进行的,而不是在Yarn上。要在yarn上运行作业,请确保在mapred-site.xml中有以下内容:

<property>
  <name> mapreduce.framework.name</name>
  <value>yarn</value>
</property>

一般来说,通过向cdh用户邮件列表发送电子邮件,您可能会更快地回答此类问题。

csbfibhn

csbfibhn2#

将以下配置添加到mapred-site.xml文件中

<property>
  <name> mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<property> 
  <name>mapreduce.jobhistory.address</name>
  <value>localhost:10020</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>localhost:19888</value> 
</property>

并删除特定于jobhistory的配置,就像您在yarn-site.xml中所做的那样,例如,在yarn-site.xml的最后两个配置上面

相关问题