通过the docs判断，似乎spark.sql.Catalog.clearCache()只清除持久化在内存中的 Dataframe 。如果我在磁盘上持久化一个表（df.persist(StorageLevel.DISK_ONLY))），cearCache()也会取消持久化吗？
spark.sql.Catalog.clearCache()
df.persist(StorageLevel.DISK_ONLY))
cearCache()
nhaq1z211#
在Spark中，cache是数据persistence的选项之一。clearCache()不会取消持久化示例中的数据，请使用unpersist()。它会将DataFrame标记为非持久性，并从内存和磁盘中删除它的所有块。
clearCache()
unpersist()
1条答案
按热度按时间nhaq1z211#
在Spark中，cache是数据persistence的选项之一。
clearCache()不会取消持久化示例中的数据，请使用unpersist()。它会将DataFrame标记为非持久性，并从内存和磁盘中删除它的所有块。