pyspark中有没有等效于sql的msck修复表的方法

dxxyhpgq  于 2021-06-24  发布在  Hive
关注(0)|答案(1)|浏览(467)

在sql中有:

REFRESH TABLE table_name

在pyspark中,等效值为:

spark.refreshTable(table_name)

那么,Pypark的等价物是什么:

MSCK REPAIR TABLE table_name
mfpqipee

mfpqipee1#

refreshtable与spark会话目录集成。
正如史蒂文所建议的,你可以和我一起去 spark.sql('MSCK REPAIR TABLE table_name') 有一种叫做 recoverPartitions (仅适用于分区表,不适用于视图)。我相信这是 msck repair table . 你可以试试这个。。
在文档中,这个ddl.scala看起来是等价的。
用法示例:

spark.catalog.recoverPartitions(tableName)

相关问题