在sql中有:
REFRESH TABLE table_name
在pyspark中,等效值为:
spark.refreshTable(table_name)
那么,Pypark的等价物是什么:
MSCK REPAIR TABLE table_name
mfpqipee1#
refreshtable与spark会话目录集成。正如史蒂文所建议的,你可以和我一起去 spark.sql('MSCK REPAIR TABLE table_name') 有一种叫做 recoverPartitions (仅适用于分区表,不适用于视图)。我相信这是 msck repair table . 你可以试试这个。。在文档中,这个ddl.scala看起来是等价的。用法示例:
spark.sql('MSCK REPAIR TABLE table_name')
recoverPartitions
msck repair table
spark.catalog.recoverPartitions(tableName)
1条答案
按热度按时间mfpqipee1#
refreshtable与spark会话目录集成。
正如史蒂文所建议的,你可以和我一起去
spark.sql('MSCK REPAIR TABLE table_name')
有一种叫做recoverPartitions
(仅适用于分区表,不适用于视图)。我相信这是msck repair table
. 你可以试试这个。。在文档中,这个ddl.scala看起来是等价的。
用法示例: