spark在缓存配置单元表时占用更多空间

hl0ma9xz  于 2021-06-26  发布在  Hive
关注(0)|答案(0)|浏览(221)

我正在缓存我的一个配置单元表,它以Parquet格式存储在hdfs上。我的Hivetable大约有3.5克。
我正在将配置单元表读入sparkDataframe并缓存相同的Dataframe,但是当我签入spark ui时,它占用了大约24g的内存。
谁能帮我理解一下尺寸上的差异吗。为什么它的Spark越来越大。
当做,
尼拉吉

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题