spark.catalog.iscached在使用.cache时显示false

unftdfkk  于 2021-07-12  发布在  Spark
关注(0)|答案(0)|浏览(151)

在databricks环境上。我跑:

val df2 = spark.table("vrba").where("Country = 'China'").cache() 
df2.show(false)

然后我跑过去看看:

spark.catalog.isCached("vrba")

它返回:

res3: Boolean = false

这很好。
然后我按照我的理解跑:

val cache = spark.sharedState.cacheManager
cache.lookupCachedData(df2.queryExecution.logical).isDefined

返回:

res3: Boolean = false

当spark ui的存储选项卡为读取分区(也称为Dataframe)声明时,我没有得到:

Fraction cached 100%.

这是错误吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题