hadoop:如何正确设置hadoop\u yarn\u home

li9yvcax  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(403)

我正在尝试用yarn设置hadoop。
默认的yarn.application.classpath属性设置如下。yarn.application.classpath类路径

<value>
   $HADOOP_CONF_DIR,
   $HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,
   $HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,
   $HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,
   $HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*,
</value>

在这种配置下,所有的mr-jobs都失败了。如果我用这个代替它(hadoop\u yarn\u home代替了它的值),一切都很好。

<name>yarn.application.classpath</name>
<value>
   $HADOOP_CONF_DIR,
   $HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,
   $HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,
   $HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,
   /usr/lib/hadoop-yarn/*,/usr/lib/hadoop-yarn/lib/*,
</value>

所以,我怀疑resourcemanager的$hadoop\u yarn\u home set值不正确。我试过在yarn-env.sh、hadoop-env.sh和/etc/default/hadoop-yarn中设置它,但是作业总是失败。
我的问题是,我必须在哪里设置$hadoop\u yarn\u home变量?
p、 我用的是cdh5。

pkln4tw6

pkln4tw61#

可以在属于该特定用户的.bashrc文件中设置配置变量。希望对你有帮助。

相关问题