我有一个运行多个配置单元脚本的unixshell脚本。我已经为配置单元脚本中的每个配置单元查询指定了作业名称。我需要的是，在shell脚本的末尾，我希望根据appstatus为“finished”的yarn日志/应用程序中的作业名称检索用于配置单元查询的资源（以使用的内存、容器为单位）我该怎么做？任何帮助都将不胜感激。
dtcbnfnu1#
您可以通过restapi从yarn历史服务器获取这些信息。https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/historyserverrest.html滚动浏览此文档，您将看到如何获取已执行作业的集群级信息以及如何获取单个作业的信息的示例。
1条答案
按热度按时间dtcbnfnu1#
您可以通过restapi从yarn历史服务器获取这些信息。
https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/historyserverrest.html
滚动浏览此文档，您将看到如何获取已执行作业的集群级信息以及如何获取单个作业的信息的示例。