我试图分析配置单元查询的性能。虽然我能够用java进行hive查询,但是我仍然需要访问每次查询之后生成的日志信息。我正在寻找一种优雅的方法,如果已经可用的话,而不是使用黑客来读取磁盘上的最新日志和使用regex来提取数字。任何提示都会有帮助。提前谢谢。-lg公司
tp5buhyn1#
查询执行详细信息(如status、finished at、finished in)显示在作业跟踪器中,您可以通过编程方式访问作业跟踪器。此链接的相关信息如何以编程方式获取hadoop在web界面中显示的所有job tracker和tasktracker信息?
gmol16392#
一旦配置单元开始运行相应的map reduce作业,就会启动。此hadoop作业的日志可以在运行每个任务的相应tasktracker上找到。使用jobclient api以编程方式检索这些日志。
2条答案
按热度按时间tp5buhyn1#
查询执行详细信息(如status、finished at、finished in)显示在作业跟踪器中,您可以通过编程方式访问作业跟踪器。此链接的相关信息
如何以编程方式获取hadoop在web界面中显示的所有job tracker和tasktracker信息?
gmol16392#
一旦配置单元开始运行相应的map reduce作业,就会启动。此hadoop作业的日志可以在运行每个任务的相应tasktracker上找到。
使用jobclient api以编程方式检索这些日志。