我找不到与mrv2等效的jobclient(java,mrv1)。我正在尝试读取正在运行的作业的mr作业状态、计数器等。我必须从资源管理器获取信息,我相信(因为历史服务器在作业结束之前没有这些信息,我需要在作业仍在运行时读取计数器)。MapReduceAPI中是否有我丢失的客户端?
uxhixvfz1#
如果您拥有提交给yarn的mr作业的申请id,则可以使用: YarnClient ( import org.apache.hadoop.yarn.client.api.YarnClient )以及 ApplicationReport ( import org.apache.hadoop.yarn.api.records.ApplicationReport )获取与应用程序相关的统计信息。例如,示例代码如下:
YarnClient
import org.apache.hadoop.yarn.client.api.YarnClient
ApplicationReport
import org.apache.hadoop.yarn.api.records.ApplicationReport
// Initialize and start YARN client YarnClient yarnClient = YarnClient.createYarnClient(); yarnClient.init(configuration); yarnClient.start(); // Get application report try { ApplicationReport applicationReport = yarnClient.getApplicationReport(ConverterUtils.toApplicationId(applicationID)); // Get whatever you want here. } catch (Exception e) { // Handle exception; } // Stop YARN client yarnClient.stop();
你可以从 ApplicationReport 课程是:应用程序资源使用情况报告应用语言学最终申请状态起止时间应用程序类型优先进展等。您可以查看api文档以了解 YarnClient 以及 ApplicationReport 这里(这是hadoop 2.7文档):雅恩克利特应用程序报告
1条答案
按热度按时间uxhixvfz1#
如果您拥有提交给yarn的mr作业的申请id,则可以使用:
YarnClient
(import org.apache.hadoop.yarn.client.api.YarnClient
)以及ApplicationReport
(import org.apache.hadoop.yarn.api.records.ApplicationReport
)获取与应用程序相关的统计信息。
例如,示例代码如下:
你可以从
ApplicationReport
课程是:应用程序资源使用情况报告
应用语言学
最终申请状态
起止时间
应用程序类型
优先
进展等。
您可以查看api文档以了解
YarnClient
以及ApplicationReport
这里(这是hadoop 2.7文档):雅恩克利特
应用程序报告