您真正想做的是对使用 collect_list 在Dataframe上的groupby期间。
从spark 3.0.1开始，没有内置函数可以按键对数组进行分组。鉴于此，您有两个选择：
您只能使用spark内置函数，然后应该在Dataframe上执行两个groupby。
由于已经有case类，所以可以将dataframe转换为dataset，按键分组，并使用scala代码在数组上执行groupby

仅使用spark内置函数的解决方案

在本例中，执行两个groupby。第一个使用“key”、“from”和“to”列，第二个只使用“key”列。第一个组创建第二个groupby用于创建课程的部分列表：

import org.apache.spark.sql.functions.{col, collect_list, struct}

import sparkSession.implicits._

sections
  .groupBy("key", "from", "to").agg(
    collect_list(
      struct(col("key"), col("from"), col("to"), col("travellers"))
    ).as("sections")
  )
  .groupBy("key").agg(collect_list(
     struct(col("from"), col("to"), col("sections"))
  ).as("groupedSections"))
  .select("groupedSections")
  .as[Course]

数据集解决方案

在这里，您将Dataframe的行强制转换为 Section ，使用方法groupbykey按键分组，然后执行到的转换 Course 使用mapgroups方法：

import sparkSession.implicits._

sections
  .as[Section]
  .groupByKey(_.key)
  .mapGroups((_, sections) => Course(
    sections.toSeq
      .groupBy(s => (s.from, s.to))
      .map(keyValue => GroupedSection(keyValue._1._1, keyValue._1._2, keyValue._2))
      .toSeq
    )
  )