pyspark dataframewriter jdbc函数的ignore选项是忽略整个事务还是只忽略有问题的行?

ecr0jaav  于 2021-06-25  发布在  Mysql
关注(0)|答案(1)|浏览(326)

皮斯帕克 DataFrameWriter 班级有一个 jdbc 用于将Dataframe写入sql的函数。此函数具有 --ignore 文件中说明的选项将:
如果数据已经存在,则自动忽略此操作。
但是它会忽略整个事务,还是只忽略插入重复的行?如果我要合并呢 --ignore--append 旗帜?行为会改变吗?

5hcedyr0

5hcedyr01#

mode("ingore") 如果表(或另一个接收器)已经存在并且无法组合写入模式,则为noop。如果你在找 INSERT IGNORE 或者 INSERT INTO ... WHERE NOT EXISTS ... 你必须手动操作,例如用 mapPartitions .

相关问题