在spark中,有没有办法通过提供timstamp对象来获得分区路径,而不是将分区键作为字符串提供?
我知道我们可以通过运行以下查询来获取分区路径:
val x = "date='2019-08-06 23:48:32.113'"
spark.sql(s"describe extended hospitaltest partition (${x})")
但是上面的查询需要分区键作为字符串。
在spark中,有没有办法通过提供timstamp对象来获得分区路径,而不是将分区键作为字符串提供?
我知道我们可以通过运行以下查询来获取分区路径:
val x = "date='2019-08-06 23:48:32.113'"
spark.sql(s"describe extended hospitaltest partition (${x})")
但是上面的查询需要分区键作为字符串。
1条答案
按热度按时间vmjh9lq91#
我不知道它为spark编写的查询是否正确,但作为问题的一部分,下一个查询将从hive metastore(存储在mysql中)返回分区的位置: