我想跟踪一些有关Yarn的应用。它们是通过命令行提交的,例如。
yarn jar hadoop-mapreduce-examples.jar pi 10 100
python有一个非常易于使用的yarn客户端,它返回以下内容:
finalStatus = SUCCEEDED
id = application_1458083392566_0929
state = FINISHED
name = QuasiMonteCarlo
applicationType = MAPREDUCE
user = awoolford
applicationTags =
[...etc...]
我注意到有一个 applicationTags
财产。这将是跟踪相关应用程序组的理想方法。我试着通过 HADOOP_CLIENT_OPTS
,例如。
HADOOP_CLIENT_OPTS="-DapplicationTags=batch123,chunk62" hadoop jar [...etc...]
... 但是 applicationTags
当我试图通过python客户端检索字符串时,字符串没有出现在yarn中。
q) 如何提交Yarn作业并填充 applicationTags
来自命令行的属性?
1条答案
按热度按时间nhaq1z211#
需要设置的属性称为
mapreduce.job.tags
(见jira)。因此,对于calculate pi mapreduce示例,您可以如下标记作业:感谢cloudera的neerja khattar想出了如何做到这一点。