假设每个rdd只有一个指定键的值：

val df =
  Seq(
    ("A", 5),
    ("B", 10)
  ).toDF("key", "value")

val df2 =
  Seq(
    ("A", 3),
    ("B", 7)
  ).toDF("key", "value")

可以使用合并这些RDD union 并通过 groupBy 具体如下：

import org.apache.spark.sql.functions._
df.union(df2)
  .groupBy("key")
  .agg(first("value").minus(last("value")).as("value"))
  .show()

将打印：

+---+-----+
|key|value|
+---+-----+
|  B|    3|
|  A|    2|
+---+-----+

rdd解决方案的问题请找到内联代码注解的解释

object SubtractRDD {

  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().master("local[*]").getOrCreate(); // Create Spark Session

    val list1 = List(("keyA",5),("keyB",10))
    val list2 = List(("keyA",3),("keyB",7))
    val rdd1= spark.sparkContext.parallelize(list1)  // convert list to RDD
    val rdd2= spark.sparkContext.parallelize(list2)

    val result = rdd1.join(rdd2)  // Inner join RDDs
      .map(x => (x._1, x._2._1 - x._2._2 ))  // Combiner function for RDDs
      .collectAsMap()  // Collect result as Map
    println(result)
  }

}