pyspark 正在将镶拼数据从Azure Databricks写入数据湖gen2错误

klr1opcd  于 2023-10-15  发布在  Spark
关注(0)|答案(1)|浏览(168)

我在将处理后的数据从databricks写入Azure datalake的容器时出现以下错误:
AnalysisException: Path dbfs:/mnt/datalakegen212/processed already exists.
当我访问数据存储帐户中的已处理容器时,没有文件。
我已经尝试了一切,检查权限,但没有任何帮助。

6jygbczu

6jygbczu1#

我尝试用下面的代码复制这个问题:

df.write.parquet("/mnt/datalakegen212/")

该文件不存在于该位置,但我得到了相同的错误:

我已经添加了覆盖模式,并尝试了以下代码:

df.write.mode("overwrite").parquet("/mnt/datalakegen212/")

文件已成功写入位置。

相关问题