这 就是 spark 中 不同 分区 的 数据 持久 化 的 方式 。 你 可以 使用 databricks fs 工具 来 重 命名 文件 。
我 写 了 一 个 小 的 实用 程序 函数 来 收集 一 个 分区 上 的 所有 数据 ， 作为 parquet 持久 化 ， 并 重 命名 文件 夹 中 唯一 的 数据 文件 。 您 可以 将 其 用于 JSON 或 CSV 。 该 实用 程序 接受 文件 夹 路径 和 文件 名 ， 创建 一 个 " tmp " 文件 夹 用于 持久 化 ， 然后 将 文件 移动 并 重 命名 到 所 需 的 文件 夹 ：

def export_spark_df_to_parquet(df, dir_dbfs_path, parquet_file_name):
  tmp_parquet_dir_name = "tmp"
  tmp_parquet_dir_dbfs_path = dir_dbfs_path + "/" + tmp_parquet_dir_name
  parquet_file_dbfs_path = dir_dbfs_path + "/" + parquet_file_name
  
  # Export dataframe to Parquet
  df.repartition(1).write.mode("overwrite").parquet(tmp_parquet_dir_dbfs_path)
  listFiles = dbutils.fs.ls(tmp_parquet_dir_dbfs_path)
  for _file in listFiles:
    if len(_file.name) > len(".parquet") and _file.name[-len(".parquet"):] == ".parquet":
      dbutils.fs.cp(_file.path, parquet_file_dbfs_path)
      break

中 的 每 一 个
用法 ：

export_spark_df_to_parquet(df, "dbfs:/my_folder", "my_df.parquet")

格式

Spark不允许按要求命名文件。它会生成随机文件名的部分文件。当我使用df.write（其中df是spark Dataframe ）时，我得到一个随机生成的文件名。

• 如果你想生成一个特定名称的文件名，你必须使用Pandas，使用toPandas()将spark Dataframe 转换为Pandas Dataframe ，然后使用to_csv()方法保存文件（考虑csv作为所需的文件格式）。

pdf = df.toPandas()
pdf.to_csv("abfss://data@datalk0711.dfs.core.windows.net/output/output.csv")

• 运行上述代码生成了具有所需文件名的所需文件。