再加上wandermonk@提到的，
动态分区插入仅在sql模式下受支持（对于insert overwrite table sql语句）。对于非基于文件的数据源（即insertablerelations），不支持动态分区插入。
对于动态分区插入，overwrite关键字的行为由spark.sql.sources.partitionoverwritemode配置属性（默认值：static）控制。属性控制spark是否应删除所有与分区规范匹配的分区，而不管是否有数据要写入（静态）或仅删除将有数据写入的分区（动态）。
当启用动态覆盖模式时，spark将只删除有数据要写入的分区。所有其他分区保持完整。
从
从使用spark写入动态分区(https://medium.com/a-muggles-pensieve/writing-into-dynamic-partitions-using-spark-2e2b818a007a)
spark现在可以像hive一样编写分区数据 — 这意味着只有insert查询所触及的分区会被覆盖，其他分区不会被触及。

因此，如果您使用的是spark版本<2.3，并且希望在不删除其他分区的情况下动态写入分区，那么可以实现以下解决方案。
其思想是将数据集注册为一个表，然后使用spark.sql（）运行insert查询。

// Create SparkSession with Hive dynamic partitioning enabled
val spark: SparkSession =
    SparkSession
        .builder()
        .appName("StatsAnalyzer")
        .enableHiveSupport()
        .config("hive.exec.dynamic.partition", "true")
        .config("hive.exec.dynamic.partition.mode", "nonstrict")
        .getOrCreate()
// Register the dataframe as a Hive table
impressionsDF.createOrReplaceTempView("impressions_dataframe")
// Create the output Hive table
spark.sql(
    s"""
      |CREATE EXTERNAL TABLE stats (
      |   ad            STRING,
      |   impressions   INT,
      |   clicks        INT
      |) PARTITIONED BY (country STRING, year INT, month INT, day INT)
      |ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'
    """.stripMargin
)
// Write the data into disk as Hive partitions
spark.sql(
    s"""
      |INSERT OVERWRITE TABLE stats 
      |PARTITION(country = 'US', year = 2017, month = 3, day)
      |SELECT ad, SUM(impressions), SUM(clicks), day
      |FROM impressions_dataframe
      |GROUP BY ad
    """.stripMargin
)

如果您使用的是spark 2.3.0，请尝试设置 spark.sql.sources.partitionOverwriteMode 设置为 dynamic ，需要对数据集进行分区，并覆盖写入模式。

spark.conf.set("spark.sql.sources.partitionOverwriteMode","dynamic")
data.write.mode("overwrite").insertInto("partitioned_table")

我建议使用sparksession运行sql。您可以通过从现有数据集中选择列来运行“插入覆盖分区查询”。这个解决方案肯定只会覆盖分区。