shuffle分区

hsgswve4  于 2021-07-14  发布在  Spark
关注(0)|答案(0)|浏览(245)

输入文本文件:5个文件,128 mb spark.sql.shuffle.partitions:默认值(200)我正在使用spark.read读取输入文件,并将其作为Parquet文件写入。在下面的场景中,将创建多少个分区?
洗牌
禁止洗牌
根据我的说法,它将为第一个场景创建200个分区(5个带有数据和剩余的195个空Parquet文件)。对于第二个场景,它将只创建5个文件(没有无序播放)。我的理解是正确的还是有不同的表现?
谢谢,文卡德什k

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题