如何访问配置单元日志信息

1mrurvl1  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(321)

我试图分析配置单元查询的性能。虽然我能够用java进行hive查询,但是我仍然需要访问每次查询之后生成的日志信息。我正在寻找一种优雅的方法,如果已经可用的话,而不是使用黑客来读取磁盘上的最新日志和使用regex来提取数字。
任何提示都会有帮助。提前谢谢。
-lg公司

tp5buhyn

tp5buhyn1#

查询执行详细信息(如status、finished at、finished in)显示在作业跟踪器中,您可以通过编程方式访问作业跟踪器。此链接的相关信息
如何以编程方式获取hadoop在web界面中显示的所有job tracker和tasktracker信息?

gmol1639

gmol16392#

一旦配置单元开始运行相应的map reduce作业,就会启动。此hadoop作业的日志可以在运行每个任务的相应tasktracker上找到。
使用jobclient api以编程方式检索这些日志。

相关问题