假设我有一份很有活力的工作
val df1 = spark.read.csv(file1)
val df2 = spark.read.csv(file1)
df1.filter(...).join(df2, df1('id') === df1('fkey'),"inner"))
我知道我可以用 spark.stop()
但是,有没有可能在给定的操作上暂停这样一个Spark作业,比如说文件读取df1,然后再继续?
假设我有一份很有活力的工作
val df1 = spark.read.csv(file1)
val df2 = spark.read.csv(file1)
df1.filter(...).join(df2, df1('id') === df1('fkey'),"inner"))
我知道我可以用 spark.stop()
但是,有没有可能在给定的操作上暂停这样一个Spark作业,比如说文件读取df1,然后再继续?
暂无答案!
目前还没有任何答案,快来回答吧!