基于oozie作业id获取spark应用程序id

wlsrxk51  于 2021-05-31  发布在  Hadoop
关注(0)|答案(2)|浏览(473)

我正在尝试从unix获取基于oozie id的spark应用程序id。当我尝试使用 oozie -info <oozie_id>@<action_name> . 如何获取spark应用程序id

9jyewag0

9jyewag01#

从web ui:
要获取spark应用程序日志,
oozie's web console 找到那个 hadoop job Id 那是什么 action 例如: job_202007171535_0223 你可以通过替换 jobapplication 在作业id中,例如 application_202007171535_0223job_202007171535_0223 使用步骤1中的hadoop作业/应用程序id,转到 Yarn Resource Manager WebUI 去调查一下 logs (通常用于由yarn管理的hive/hadoop/spark作业)
访问 Spark UI 对于调试dag、stages、使用app id进行微调,例如 application_202007171535_0223 从命令行界面,上述步骤将是:
运行oozie cmd获取hadoop作业id: oozie job -info <your job id here> 寻找 External Id 在输出中,例如: job_202007171535_0223 你可以通过替换 jobapplication 在作业id中,例如 application_202007171535_0223job_202007171535_0223 运行下面的yarn cmd获取yarn作业日志(对于由yarn管理的hive/hadoop/spark作业来说很常见): yarn logs -applicationId <your app id here>

q8l4jmvw

q8l4jmvw2#

oozie spark操作有两个ID。两个都不一样。
oozie启动器作业id。
与启动器关联的spark作业id。
要获取两个ID: oozie -info <oozie_id>@<action_name> 会给你oozie启动程序id。 oozie job -info <oozie-launcher-id> | grep racking 这将使用从第一个命令获得的oozie启动程序id为您提供spark应用程序id。
注: grep racking 实际上代表 grep tracking 但现在我忘了是不是从资本开始的 T 或小 t 但是 racking 我会做的。

相关问题