在zeppelin中尝试使用delta lake表执行重复查询时遇到了一个问题。此代码段第一次运行时没有任何问题:
import io.delta.tables._
val deltaTable = DeltaTable.forPath("s3://bucket/path")
deltaTable.toDF.show()
但当我再次尝试运行它时,它失败了,出现以下错误:
java.lang.IllegalArgumentException: Could not find active SparkSession
at io.delta.tables.DeltaTable$$anonfun$1.apply(DeltaTable.scala:620)
at io.delta.tables.DeltaTable$$anonfun$1.apply(DeltaTable.scala:620)
at scala.Option.getOrElse(Option.scala:121)
at io.delta.tables.DeltaTable$.forPath(DeltaTable.scala:619)
... 51 elided
我可以重新启动spark解释器并再次运行查询,但这对开发是一个巨大的障碍。有人知道为什么会发生这种情况吗?是否有一种解决方法不涉及每次运行新查询时重新启动解释器?
暂无答案!
目前还没有任何答案,快来回答吧!