如何从azure databricks spark作业写入azure文件共享。
我配置了hadoop存储键和值。
spark.sparkContext.hadoopConfiguration.set(
"fs.azure.account.key.STORAGEKEY.file.core.windows.net",
"SECRETVALUE"
)
val wasbFileShare =
s"wasbs://testfileshare@STORAGEKEY.file.core.windows.net/testPath"
df.coalesce(1).write.mode("overwrite").csv(wasbBlob)
当尝试将Dataframe保存到azure文件共享时,我看到以下错误:虽然uri存在,但资源未找到。
Exception in thread "main" org.apache.hadoop.fs.azure.AzureException: com.microsoft.azure.storage.StorageException: The requested URI does not represent any resource on the server.
1条答案
按热度按时间smdncfj31#
不幸的是,azure databricks不支持读取和写入azure文件共享。
azure databricks支持的数据源:https://docs.microsoft.com/en-us/azure/databricks/data/data-sources/
我建议你提供同样的反馈:
https://feedback.azure.com/forums/909463-azure-databricks
您在这些论坛中共享的所有反馈都将由负责构建azure的microsoft工程团队进行监视和审核。
您可以 checkout 解决类似问题的线程:databricks和azure文件
下面是将csv数据直接写入azuredatabricks笔记本中的azureblob存储容器的代码段。