为cli提交的作业在yarn中设置applicationtags属性

dffbzjpn  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(612)

我想跟踪一些有关Yarn的应用。它们是通过命令行提交的,例如。

yarn jar hadoop-mapreduce-examples.jar pi 10 100

python有一个非常易于使用的yarn客户端,它返回以下内容:

finalStatus = SUCCEEDED
id = application_1458083392566_0929
state = FINISHED
name = QuasiMonteCarlo
applicationType = MAPREDUCE
user = awoolford
applicationTags = 
[...etc...]

我注意到有一个 applicationTags 财产。这将是跟踪相关应用程序组的理想方法。我试着通过 HADOOP_CLIENT_OPTS ,例如。

HADOOP_CLIENT_OPTS="-DapplicationTags=batch123,chunk62" hadoop jar [...etc...]

... 但是 applicationTags 当我试图通过python客户端检索字符串时,字符串没有出现在yarn中。
q) 如何提交Yarn作业并填充 applicationTags 来自命令行的属性?

nhaq1z21

nhaq1z211#

需要设置的属性称为 mapreduce.job.tags (见jira)。因此,对于calculate pi mapreduce示例,您可以如下标记作业:

yarn jar hadoop-mapreduce-examples.jar pi -Dmapreduce.job.tags=myJobTag 10 100

感谢cloudera的neerja khattar想出了如何做到这一点。

相关问题