pyspark 如何检查配置单元表是否已分区?

00jrzges  于 2023-04-19  发布在  Spark
关注(0)|答案(1)|浏览(150)

我怎样才能通过编程来确定一个配置单元表是否被分区,而不是通过进入直线 shell 并检查分区列。有什么方法可以检查这个吗?

j0pj023g

j0pj023g1#

在**spark.sql**中使用describe detail sql语句尝试。

Example:

spark.sql("describe detail <db_name>.<tab_name>").select("partitionColumns").show()

对于非分区表查询结果为空**array<>**

+----------------+
|partitionColumns|
+----------------+
|              []|
+----------------+

分区表查询结果为**array<>**,包含分区列名。

+-------------------+
|   partitionColumns|
+-------------------+
|[load_date]|
+-------------------+

相关问题