如何在spark视图上创建等权重直方图

kwvwclae  于 2021-07-09  发布在  Spark
关注(0)|答案(0)|浏览(281)

我在spark上有一个全局临时视图,我想在一个数字列上生成等权重直方图。使用spark3.1.1,这里是我使用的示例代码,但是对于包括直方图在内的所有列统计信息,我得到的值都是空的。

spark.sql("SET spark.sql.cbo.enabled=true");
    spark.sql("SET spark.sql.statistics.histogram.enabled=true");

    df.createGlobalTempView(tableName);

    spark.sql("Select * from global_temp.dummy2").show();

    sqlCommand = "CACHE TABLE global_temp.dummy2";
    runSqlCommand(sqlCommand, "CACHE ");

    sqlCommand = "ANALYZE TABLE global_temp.dummy2 COMPUTE STATISTICS FOR COLUMNS id,name";
    runSqlCommand(sqlCommand, "Analyze");

    spark.sql("Describe extended global_temp.dummy2 id").show();

另外,任何替代方法也可以起作用。。我也愿意接受其他方法/建议。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题