mapreduce任务正在运行,但未生成jhist文件

yhqotfr8  于 2021-05-31  发布在  Hadoop
关注(0)|答案(0)|浏览(432)

我正在尝试为hadoop-2.7.2设置一个集群主/从配置。安装程序正在运行,我可以在上面运行mapreduce测试。目标是运行一些测试并捕获性能和/或基准。
问题是,其中一个脚本依赖于historyserver创建的jhist文件。尽管historyserver正在运行,但jhist文件不会在中创建 /tmp/hadoop-yarn/ .
主hadoop和从hadoop是chrooted的,并且彼此具有ssh访问权限。相关部分的my mapred-site.xml是-

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop-master:10020</value>
    <description>Enter your JobHistoryServer hostname.</description>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop-master:19888</value>
    <description>Enter your JobHistoryServer hostname.</description>
</property>

<property>
        <name>mapreduce.jobhistory.intermediate-done-dir</name>
        <value>/tmp/hadoop-yarn/staging/history/done_intermediate</value>
</property>

<property>
        <name>mapreduce.jobhistory.done-dir</name>
        <value>/tmp/hadoop-yarn/staging/history/done</value>
</property>

我不知道hadoop的内部和外部,因为我的目标是用hadoop做性能分析,找出瓶颈。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题