spark在缓存配置单元表时占用更多空间

hl0ma9xz 于 2021-06-26 发布在 Hive

关注(0)|答案(0)|浏览(210)

我正在缓存我的一个配置单元表，它以Parquet格式存储在hdfs上。我的Hivetable大约有3.5克。
我正在将配置单元表读入sparkDataframe并缓存相同的Dataframe，但是当我签入spark ui时，它占用了大约24g的内存。
谁能帮我理解一下尺寸上的差异吗。为什么它的Spark越来越大。
当做，
尼拉吉

Hive apache-spark pyspark apache-spark-sql spark-dataframe

来源：https://stackoverflow.com/questions/43888160/spark-taking-more-space-while-caching-hive-table

暂无答案！

目前还没有任何答案，快来回答吧！

我来回答

spark在缓存配置单元表时占用更多空间

暂无答案！

相关问题

热门标签

最新问答