将dataframe保存到具有特定名称的json文件，而无需在Pyspark中创建分区文件

5us2dqdw 于 2023-05-29 发布在 Apache

关注(0)|答案(1)|浏览(143)

我有一个dataframe，我想用一个特定的名字把它写成一个json文件。但它是在指定的文件名内创建一个分区文件。我如何让它直接将数据写入我传递给参数的文件名？下面是Python中的代码：

df_3.coalesce(1).write.format('json').mode('overwrite').save(filename)

数据现在被写入mylocation.json/part-00000，我只希望这是mylocation.json文件。
我将感激任何帮助。

1条答案

我认为你需要使用mode('append')来代替-并且不需要使用coalce，除非你想强制它只在一个分区上运行：

df_3.write.format('json').mode('append').save(filename)