分割修剪与 Impala 和Parquet

pgx2nnw8  于 2021-06-26  发布在  Impala
关注(0)|答案(0)|浏览(292)

我们有一个事实表,我们希望按月分区(这是因为我们的数据量很大,并且希望分区文件大小至少达到256mb(按照parquet最佳实践)。我想如果数据增加的话,我们应该每周去一次。
该表将始终查询特定的一天,并且只查询一天(这是一个快照)
所以;我做了个简单的测试。一个基本表,带有整数日期键,用整数日期月键分区。
我想象如果我查询01/01/2011,那么它将使用01-2011分区。不幸的是没有。explain计划显示它扫描两个分区。
我也计算了stats—认为stats会知道date列的最小值和最大值,因此会知道不命中其中一个分区,但这并没有改变任何东西。
这是预期的吗?也许我的例子太简单了。解释计划是否有误导性?我可以想象许多用例,在这些用例中,您将按单个日期字段进行过滤,但按年份和月份进行分区,这应该如何工作?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题