如果你想要一个文件，你需要做一个 coalesce 在调用write之前将其添加到单个分区，因此：

unzipJSON.coalesce(1).write.mode("append").json("/home/eranw/Workspace/JSON/output/unCompressedJson.json")

就我个人而言，我发现输出文件的数量取决于调用之前的分区数量，这相当烦人 write -尤其是如果你做了一个 write 用一个 partitionBy -但据我所知，目前没有其他办法。
我不知道是否有办法禁用.crc文件-我不知道-但是您可以通过在spark上下文的hadoop配置上设置以下内容来禁用\u success文件。

sc.hadoopConfiguration.set("mapreduce.fileoutputcommitter.marksuccessfuljobs", "false")

请注意，您可能还希望禁用以下元数据文件的生成：

sc.hadoopConfiguration.set("parquet.enable.summary-metadata", "false")

显然，生成元数据文件需要一些时间（参见本文），但实际上并不那么重要（根据本文）。就我个人而言，我总是禁用他们，我没有任何问题。