SparkWebUI杀死应用程序,但仍然存在于后台

nhaq1z21  于 2021-05-26  发布在  Spark
关注(0)|答案(0)|浏览(324)

当我在webui上终止一个应用程序时(我使用独立客户端模式提交),它似乎已经终止了;但是当我使用'jps'命令时,我仍然可以看到应用程序在后台运行。这是我的演示代码 再次出现此问题。

val rdd = sparkSession.sparkContext.parallelize(List(1, 2, 3, 4)).repartition(4)

//section 1: 
//do something for a long time
val rdd2 = rdd.map(x => { 
  for (i <- 1 to 300) {
    for (j <- 1 to 999999999) {
    }

    if (i % 10 == 0) {
      println(i + " rdd map process running!")
    }

  }

  x * 2
})
rdd2.take(10).foreach(println(_))

//section 2: 
//do something for a long time in driver
for (i <- 1 to 500) {
  for (j <- 1 to 999999999) {
    }

  if (i % 10 == 0) {
    println(i + " main process running!")
  }
}

而且,  如果我在第1节rdd.map进程中杀死web ui上的应用程序,它可以被清楚地停止;如果我在第2节在驱动程序中执行某些操作时关闭了web ui上的应用程序,那么它将在后台运行。那么,原因是什么,如何解决呢?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题