如果我想在出现异常或特定用例时以编程方式从spark作业内部停止spark应用程序，那么如何从java代码中实现这一点。我试图调用javasparkcontext.close（），但作业似乎仍在运行。
k2arahey1#
可以使用以下方法取消正在运行的spark作业： cancelJobGroup(String group Id) -取消指定组的活动作业。 cancelAllJobs() -取消所有已计划或正在运行的作业。有关更多详细信息，请参阅api文档
cancelJobGroup(String group Id)
cancelAllJobs()
1条答案
按热度按时间k2arahey1#
可以使用以下方法取消正在运行的spark作业：
cancelJobGroup(String group Id)-取消指定组的活动作业。cancelAllJobs()-取消所有已计划或正在运行的作业。有关更多详细信息，请参阅api文档