如何使用azurecosmosdbspark只将不存在的记录写入cosmosdb?

qeeaahzv  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(254)

我正在使用databricks,它使用spark连接器将csv文件中的数据写入cosmos数据库。现在我的cosmos数据库已经包含很少的记录了,所以当我运行databricks笔记本时,它应该只写数据库中不存在的记录。我尝试了保存模式。忽略但没有帮助。

df.write.mode(SaveMode.Ignore).cosmosDB(writeConfig)

现在,理想情况下,savemode.ignore应该跳过现有记录,只写入数据库中不存在但没有发生的记录。
如果有人对如何做到这一点提出建议,那将是一个很大的帮助。
谢谢。

6vl6ewon

6vl6ewon1#

使用csv文件中的某个唯一字段创建具有唯一密钥的容器。在此之后,您不能向cosmos db添加重复的唯一键值。
更多信息:https://docs.microsoft.com/en-us/azure/cosmos-db/unique-keys

相关问题