我在spark上有一个全局临时视图,我想在一个数字列上生成等权重直方图。使用spark3.1.1,这里是我使用的示例代码,但是对于包括直方图在内的所有列统计信息,我得到的值都是空的。
spark.sql("SET spark.sql.cbo.enabled=true");
spark.sql("SET spark.sql.statistics.histogram.enabled=true");
df.createGlobalTempView(tableName);
spark.sql("Select * from global_temp.dummy2").show();
sqlCommand = "CACHE TABLE global_temp.dummy2";
runSqlCommand(sqlCommand, "CACHE ");
sqlCommand = "ANALYZE TABLE global_temp.dummy2 COMPUTE STATISTICS FOR COLUMNS id,name";
runSqlCommand(sqlCommand, "Analyze");
spark.sql("Describe extended global_temp.dummy2 id").show();
另外,任何替代方法也可以起作用。。我也愿意接受其他方法/建议。
暂无答案!
目前还没有任何答案,快来回答吧!