我正在尝试用yarn设置hadoop。
默认的yarn.application.classpath属性设置如下。yarn.application.classpath类路径
<value>
$HADOOP_CONF_DIR,
$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,
$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,
$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,
$HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*,
</value>
在这种配置下,所有的mr-jobs都失败了。如果我用这个代替它(hadoop\u yarn\u home代替了它的值),一切都很好。
<name>yarn.application.classpath</name>
<value>
$HADOOP_CONF_DIR,
$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,
$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,
$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,
/usr/lib/hadoop-yarn/*,/usr/lib/hadoop-yarn/lib/*,
</value>
所以,我怀疑resourcemanager的$hadoop\u yarn\u home set值不正确。我试过在yarn-env.sh、hadoop-env.sh和/etc/default/hadoop-yarn中设置它,但是作业总是失败。
我的问题是,我必须在哪里设置$hadoop\u yarn\u home变量?
p、 我用的是cdh5。
1条答案
按热度按时间pkln4tw61#
可以在属于该特定用户的.bashrc文件中设置配置变量。希望对你有帮助。