清除pyspark中指定表的缓存

zz2j4svz  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(496)

我想知道如何消除指定sparkDataframe的缓存。
例如,

sdf = spark.read.table('example)
sdf.count() # -> And the sdf will be cached in memory

之后 sdf.count() sdf存储在内存中。我想把它从记忆中删除以腾出空间。
我知道两个可能的候选人,他们不能解决上述问题。 spark.catalog.clearCache() 方法:清除表的所有内存缓存。 sdf.unpersist() :这仅在以下代码之后有效: sdf.repartition(200).persist() 以及 sdf.count(). 另外,由于工作环境的限制,我不得不使用sparkv2.4.0。
有人能告诉我如何实现以上目标吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题