我正在尝试从unix获取基于oozie id的spark应用程序id。当我尝试使用 oozie -info <oozie_id>@<action_name> . 如何获取spark应用程序id
oozie -info <oozie_id>@<action_name>
9jyewag01#
从web ui:要获取spark应用程序日志,去 oozie's web console 找到那个 hadoop job Id 那是什么 action 例如: job_202007171535_0223 你可以通过替换 job 与 application 在作业id中,例如 application_202007171535_0223 从 job_202007171535_0223 使用步骤1中的hadoop作业/应用程序id,转到 Yarn Resource Manager WebUI 去调查一下 logs (通常用于由yarn管理的hive/hadoop/spark作业)访问 Spark UI 对于调试dag、stages、使用app id进行微调,例如 application_202007171535_0223 从命令行界面,上述步骤将是:运行oozie cmd获取hadoop作业id: oozie job -info <your job id here> 寻找 External Id 在输出中,例如: job_202007171535_0223 你可以通过替换 job 与 application 在作业id中,例如 application_202007171535_0223 从 job_202007171535_0223 运行下面的yarn cmd获取yarn作业日志(对于由yarn管理的hive/hadoop/spark作业来说很常见): yarn logs -applicationId <your app id here>
oozie's web console
hadoop job Id
action
job_202007171535_0223
job
application
application_202007171535_0223
Yarn Resource Manager WebUI
logs
Spark UI
oozie job -info <your job id here>
External Id
yarn logs -applicationId <your app id here>
q8l4jmvw2#
oozie spark操作有两个ID。两个都不一样。oozie启动器作业id。与启动器关联的spark作业id。要获取两个ID: oozie -info <oozie_id>@<action_name> 会给你oozie启动程序id。 oozie job -info <oozie-launcher-id> | grep racking 这将使用从第一个命令获得的oozie启动程序id为您提供spark应用程序id。注: grep racking 实际上代表 grep tracking 但现在我忘了是不是从资本开始的 T 或小 t 但是 racking 我会做的。
oozie job -info <oozie-launcher-id> | grep racking
grep racking
grep tracking
T
t
racking
2条答案
按热度按时间9jyewag01#
从web ui:
要获取spark应用程序日志,
去
oozie's web console
找到那个hadoop job Id
那是什么action
例如:job_202007171535_0223
你可以通过替换job
与application
在作业id中,例如application_202007171535_0223
从job_202007171535_0223
使用步骤1中的hadoop作业/应用程序id,转到Yarn Resource Manager WebUI
去调查一下logs
(通常用于由yarn管理的hive/hadoop/spark作业)访问
Spark UI
对于调试dag、stages、使用app id进行微调,例如application_202007171535_0223
从命令行界面,上述步骤将是:运行oozie cmd获取hadoop作业id:
oozie job -info <your job id here>
寻找External Id
在输出中,例如:job_202007171535_0223
你可以通过替换job
与application
在作业id中,例如application_202007171535_0223
从job_202007171535_0223
运行下面的yarn cmd获取yarn作业日志(对于由yarn管理的hive/hadoop/spark作业来说很常见):yarn logs -applicationId <your app id here>
q8l4jmvw2#
oozie spark操作有两个ID。两个都不一样。
oozie启动器作业id。
与启动器关联的spark作业id。
要获取两个ID:
oozie -info <oozie_id>@<action_name>
会给你oozie启动程序id。oozie job -info <oozie-launcher-id> | grep racking
这将使用从第一个命令获得的oozie启动程序id为您提供spark应用程序id。注:
grep racking
实际上代表grep tracking
但现在我忘了是不是从资本开始的T
或小t
但是racking
我会做的。