我有一个小的数据集,当写为Parquet时,它占用82kb。
我正试图用下面的命令预先计算数据集的大小。
BigInt original Size = SparkUtility.sparkSession().sessionState().executePlan(dataSet.queryExecution().logical()).optimizedPlan().stats().sizeInBytes();
这里的问题是它太大了,例如它返回1553303854747465490(1e)。有人能解释我做错了什么吗?。我希望值应该是82000(字节)
暂无答案!
目前还没有任何答案,快来回答吧!