skew的盐聚合

ljo96ir5  于 2021-05-24  发布在  Spark
关注(0)|答案(0)|浏览(197)

我有一个严重扭曲的数据集,我必须对其进行聚合-

cust | amount
-------------
1001 | 115.00
1001 | 100.99
1001 | 35.56
1001 | 46.12
1001 | 99.34
1002 | 12.45
1003 | 13.65

聚合查询是:

select cust, sum(amount) as total
from cust_tab
group by cust
having sum(amount) > 200.00;

但是,查询的性能非常差,并且经常由于以下原因而遇到oom错误: Skew .
因此,我希望我们能通过 salt 使 aggregation 在查询中。
有人能帮忙吗。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题