我正在尝试将过滤后的Dataframe保存回同一源文件。
我编写了下面的代码，将目录中每个文件的内容转换为单独的Dataframe，对其进行过滤并将其保存回同一个文件

rdd = sparkSession.sparkContext.wholeTextFiles("/content/sample_data/test_data")

# collect the RDD to a list

list_elements = rdd.collect()
for element in list_elements:
  path, data = element
  df = spark.read.json(spark.sparkContext.parallelize([data]))
  df = df.filter('d != 721')
  df.write.save(path, format="json", mode="overwrite")

我原以为它会用更新的数据覆盖文件，但它正在创建一个具有文件名的文件夹，并创建以下结构和零件文件：

如何将每个更新的Dataframe保存回同一源文件（.txt）？提前谢谢。