在databricks环境上。我跑:
val df2 = spark.table("vrba").where("Country = 'China'").cache()
df2.show(false)
然后我跑过去看看:
spark.catalog.isCached("vrba")
它返回:
res3: Boolean = false
这很好。
然后我按照我的理解跑:
val cache = spark.sharedState.cacheManager
cache.lookupCachedData(df2.queryExecution.logical).isDefined
返回:
res3: Boolean = false
当spark ui的存储选项卡为读取分区(也称为Dataframe)声明时,我没有得到:
Fraction cached 100%.
这是错误吗?
暂无答案!
目前还没有任何答案,快来回答吧!