通过the docs判断,似乎spark.sql.Catalog.clearCache()只清除持久化在内存中的 Dataframe 。如果我在磁盘上持久化一个表(df.persist(StorageLevel.DISK_ONLY))),cearCache()也会取消持久化吗?
spark.sql.Catalog.clearCache()
df.persist(StorageLevel.DISK_ONLY))
cearCache()
nhaq1z211#
在Spark中,cache是数据persistence的选项之一。clearCache()不会取消持久化示例中的数据,请使用unpersist()。它会将DataFrame标记为非持久性,并从内存和磁盘中删除它的所有块。
clearCache()
unpersist()
1条答案
按热度按时间nhaq1z211#
在Spark中,cache是数据persistence的选项之一。
clearCache()
不会取消持久化示例中的数据,请使用unpersist()
。它会将DataFrame标记为非持久性,并从内存和磁盘中删除它的所有块。