我想知道如何消除指定sparkDataframe的缓存。
例如,
sdf = spark.read.table('example)
sdf.count() # -> And the sdf will be cached in memory
之后 sdf.count()
sdf存储在内存中。我想把它从记忆中删除以腾出空间。
我知道两个可能的候选人,他们不能解决上述问题。 spark.catalog.clearCache()
方法:清除表的所有内存缓存。 sdf.unpersist()
:这仅在以下代码之后有效: sdf.repartition(200).persist()
以及 sdf.count().
另外,由于工作环境的限制,我不得不使用sparkv2.4.0。
有人能告诉我如何实现以上目标吗?
暂无答案!
目前还没有任何答案,快来回答吧!