当我在webui上终止一个应用程序时(我使用独立客户端模式提交),它似乎已经终止了;但是当我使用'jps'命令时,我仍然可以看到应用程序在后台运行。这是我的演示代码 再次出现此问题。
val rdd = sparkSession.sparkContext.parallelize(List(1, 2, 3, 4)).repartition(4)
//section 1:
//do something for a long time
val rdd2 = rdd.map(x => {
for (i <- 1 to 300) {
for (j <- 1 to 999999999) {
}
if (i % 10 == 0) {
println(i + " rdd map process running!")
}
}
x * 2
})
rdd2.take(10).foreach(println(_))
//section 2:
//do something for a long time in driver
for (i <- 1 to 500) {
for (j <- 1 to 999999999) {
}
if (i % 10 == 0) {
println(i + " main process running!")
}
}
而且, 如果我在第1节rdd.map进程中杀死web ui上的应用程序,它可以被清楚地停止;如果我在第2节在驱动程序中执行某些操作时关闭了web ui上的应用程序,那么它将在后台运行。那么,原因是什么,如何解决呢?
暂无答案!
目前还没有任何答案,快来回答吧!