我知道我们可以通过livyrestapi检索spark作业日志
curl -X GET "http://localhost:8998/batches/1/log"
我有以下问题:
在livy服务器或spark服务器上哪里可以找到这些日志以进行调试?我找不到任何正在livy/logs或spark/logs下编写的日志。这份文件也没有说太多相同的内容。
当批处理终止时,这些日志会发生什么变化?我注意到,在一段时间后,会话被livy终止,您不能使用前面提到的api调用来获取有关先前提交的作业的信息。这不利于调试。
谢谢。如有任何回应,我们将不胜感激!
暂无答案!
目前还没有任何答案,快来回答吧!