pyspark 数据块将表移动到SQL数据库中的特定模式

rhfm7lfc  于 2022-12-03  发布在  Spark
关注(0)|答案(1)|浏览(105)

以下pyspark代码将数据复制到Azure SQL数据库中的默认dbo架构。

test2.write.mode("overwrite") \
    .format("jdbc") \
    .option("url", jdbcUrl) \
    .option("dbtable", 'UpdatedProducts')\
    .save()

但是,数据库中有多个模式。
我们有一个名为OCC的模式。有人能修改代码以允许我们将数据复制到模式OCC吗?

93ze6v8z

93ze6v8z1#

谢谢你@Alex Ott,将它作为一个答案,它将对其他社区成员有用

我尝试在我的环境中重现相同的结果,并使用dbo.schema得到以下结果:

如果有多个模式,则使用串联和making作为schema.table_name

l_schemas=["OCC","dbo","one"]# list for storing your schemas
l_tables=["table1","table2","table3"] # list for storing respective tables in that particular indexed schema
for i in range(0,len(l_schemas)):
    s=l_schemas[i]+"."+l_tables[i] # concatenation and making as schema.table_name
    df.write.mode("overwrite") \
    .format("jdbc") \
    .option("url", jdbcUrl) \
    .option("dbtable", s)\
    .save()

相关问题