spark connector for sql server使用pyspark for bulkcopy

ergxz8rk  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(242)

我正试图实现bulkcopytosqldb使用pyspark,根据文档截至今天这个apihttps://github.com/azure/azure-sqldb-spark 仅支持scala。
有人试过用pyspark做类似的逻辑吗?我的df中有类似10mill记录的数据,我正在尝试将其推送到sqldb。
我在python中尝试的代码如下(请记住scala示例):

Config = sc._jvm.com.microsoft.azure.sqldb.spark.config.Config
connect= sc._jvm.com.microsoft.azure.sqldb.spark.connect._

bulkCopyConfig = {"url":'url',"databaseName":'dbname',"dbTable":'table',"driver"->"com.microsoft.sqlserver.jdbc.SQLServerDriver","user":'user', "password":'pwd', "connectTimeout": 5,"bulkCopyBatchSize":20000, "bulkCopyTableLock":'false',"bulkCopyTimeout":600000}

# my df is below

inv_df.createOrReplaceTempView('testbulk')

testbulk.bulkCopyToSqlDB(bulkCopyConfig)

这是我正在尝试的,但正如它所说的,它确实失败了
attributeerror:“dataframe”对象没有“bulkcopytosqldb”属性

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题