如何将Spark数据框架上传到Azure表存储?

vaj7vani  于 2023-10-22  发布在  Spark
关注(0)|答案(1)|浏览(110)

是否可以使用Python基于Spark Dataframe在Azure Table Storage中创建表?我正在使用Azure Databricks,我尝试了多种方法来与我创建的表建立连接,我有一个client_id和server_id,但我真的不知道如何正确执行此过程,因为没有任何工作。

lpwwtiir

lpwwtiir1#

数据块本身不支持Azure表存储。
若要在Azure或Azure Databricks中使用某些数据服务,您需要设置各种配置。这包括连接设置、安全凭据和网络首选项。
在某些情况下,您可能需要在Azure帐户或Azure数据库工作区中拥有管理员或高级用户权限。此外,对于某些服务,您可能需要创建Azure Databricks库并将其安装在群集上。
以下是Azure数据块支持的数据源:

要从数据砖写入表存储,您可以使用以下任何一种方法:

  • Python SDK
  • 安装资源库
  • 实现自定义编写器类
  • 使用REST API进行表存储
    参考文献:

Develop with Azure Cosmos DB for Table and Azure Table Storage
Build an API for Table app with Python SDK and Azure Cosmos DB
Table Storage REST API
Azure Databricks与哪些数据服务集成?

相关问题