Apache Spark 是否可以使用CosmosDB连接器连接到Table Storage?

bqucvtff  于 2023-11-22  发布在  Apache
关注(0)|答案(1)|浏览(175)

我正在将数据上传到Table Storage,但我需要使用CosmosDB连接器才能将大型Spark Dataframe完全插入到我的Table Storage表中,因为我不想使用TableClient,因为这会导致并发问题。
我的当前代码如下:

from azure.data.tables import TableClient
from azure.identity import ClientSecretCredential

# credentials
client_id = "xxxxxxxxxxxxx"
client_secret = "yyyyyyyyyyy"
tenant_id = "zzzzzzzzzzzz"

# URL
table_url = "https://accountExample.table.core.windows.net"

# Table Name
table_name = "myTable"

token_credential = ClientSecretCredential(
    tenant_id,
    client_id,
    client_secret,
)
# Client
table_client = TableClient(endpoint=table_url, credential=token_credential, table_name=table_name)

字符串
我试图做这样的事情,但我没有找到任何类似于上面的连接cosmosDB到表存储如上所述:

from azure.cosmos import CosmosClient
from azure.mgmt.cosmosdb import CosmosDBManagementClient

credential = ClientSecretCredential(tenant_id, client_id, client_secret)

client = CosmosDBManagementClient(credential, subscription_id)


值得一提的是,我不能使用Account_key,出于安全原因,我只能使用client_id和client_secret进行身份验证。
有什么想法吗?谢谢!

0s7z1bwu

0s7z1bwu1#

CosmosDB客户端不与表存储一起使用,因为它适用于CosmosDB的NoSQL API。
但是为了帮助解决您的问题,您可以考虑使用Azure CosmosDB for Table,它基本上为您提供了与Azure存储表相同的API的CosmosDB功能。

相关问题