我正在尝试使用pysparksqlDataframe和jdbc连接在mysql上插入和更新一些数据。
我使用savemode.append成功地插入了新数据。有没有办法从pysparksql更新现有数据并在mysql表中插入新数据?
我要插入的代码是: myDataFrame.write.mode(SaveMode.Append).jdbc(JDBCurl,mySqlTable,connectionProperties)
如果我改为savemode.overwrite,它会删除完整的表并创建一个新表,我会在mysql中寻找类似“on duplicate key update”的内容
在此方面的任何帮助都将不胜感激。
1条答案
按热度按时间nhhxz33t1#
在中创建视图
Mysql
作为create view <viewName> as select ...<tableName>
在mysql中创建触发器,以便在插入后使用-参考-https://www.mysqltutorial.org/mysql-triggers/mysql-after-insert-trigger/
写入要查看的数据
<viewName>
从Spark