df
  .write
        .option("mapreduce.fileoutputcommitter.algorithm.version", "2")
        .partitionBy("XXXXXXXX")
        .mode(SaveMode.Append)
        .format(fileFormat)
        .save(path)

当spark将数据附加到现有数据集时，spark使用fileoutputcommitter管理暂存输出文件和最终输出文件。fileoutputcommitter的行为直接影响写入数据的作业的性能。
fileoutputcommitter有两个方法：committask和commitjob。ApacheSpark2.0及更高版本使用ApacheHadoop2，它使用mapreduce.fileoutputcommitter.algorithm.version的值来控制committask和commitjob的工作方式。在hadoop 2中，mapreduce.fileoutputcommitter.algorithm.version的默认值是1。对于此版本，committask将任务生成的数据从任务临时目录移动到作业临时目录，当所有任务完成时，commitjob将数据从作业临时目录移动到最终目标。
因为驱动程序正在做commitjob的工作，对于云存储来说，这个操作可能需要很长时间。你可能经常认为你的手机“挂着”。但是，当mapreduce.fileoutputcommitter.algorithm.version的值为2时，committask会将任务生成的数据直接移动到最终目标，commitjob基本上是禁止操作的。