Azure Databricks在写入和合并时创建随机文件夹。
我在databricks中运行以下查询:
df.write.format('delta').mode('overwrite').save("abfss://[email protected]/some_path/events")
字符串
当我检查Azure存储UI时,我看到一些文件夹:x1c 0d1x
这些文件夹xJ是什么?为什么要创建它?
查询的说明:
engineInfo:databricks-cn/13.2.x-scala2.12
isolationLevel:WriteSerializable
的
1条答案
按热度按时间hgqdbh6s1#
我已经尝试了本地和全局spark会话,并执行了对ADLS的写入和合并操作:
下面是全球星火会议:
字符串
的数据
通过遵循此全局spark会话方法,可以确保操作一致,并避免在使用Delta Lake的Azure Databricks中执行写入和合并操作期间出现任何意外的文件夹创建或命名问题。