我在sparkscala上做一个项目，我能把配置单元表的表统计信息放到数据框中进行进一步的计算吗？我可以使用“显示表统计信息表名称”但我能把这些信息放到数据框里吗。谢谢
mwyxok5s1#
我觉得这就够了。
val df = spark.sql("show table stats table_name")
但是，我的表统计测试不起作用。我用了一个 ANALYZE 以及 DESCRIBE EXTENDED 为了考试。
ANALYZE
DESCRIBE EXTENDED
spark.sql("analyze table table_name compute statistics") val df = spark.sql("describe extended table_name") df.show(false)
这就产生了一个结果。
olqngx592#
在spark2中，可以通过以下方法之一将配置单元表数据导入Dataframe：方法1：
val df = spark.sql("select * from databasename.tablename")
方法2：
val df = spark.read.table("databasename.tablename")
2条答案
按热度按时间mwyxok5s1#
我觉得这就够了。
但是，我的表统计测试不起作用。我用了一个
ANALYZE以及DESCRIBE EXTENDED为了考试。这就产生了一个结果。
olqngx592#
在spark2中，可以通过以下方法之一将配置单元表数据导入Dataframe：
方法1：
方法2：