这对我很有效--不是因为我支持Georg Heiler关于使用“平均值”进行聚合的主张。为了在不进行聚合的情况下应用透视，您只需以尽可能大的粒度指定groupBy项。如果满足此条件，则可以使用任何聚合项（平均值、最小值、最大值等）。

countryKPI.groupBy("country_id3").pivot("indicator_id").agg(avg("value").alias("value_term"))

在pyspark中，您可以使用以下命令：
类似于上面提到的@Derek Kaknes;创建一个唯一ID列，然后使用sum或某些其他聚集函数进行聚集。确保分组依据的列包括新创建的id_column。

from pyspark.sql.functions import monotonically_increasing_id

df = df.withColumn("id_column", monotonically_increasing_id())
groupby_columns = ["id_column"] + your_desired_columns
df = df.groupBy(groupby_columns).pivot(pivot_column).sum(value_column)

将pyspark.sql函数导入为F df_new=df.select（“列1”，“列2”，“列3”）.groupBy（“列1”，“列2”）.agg（F.concat_ws（“，"，F.收集集（“列3”））
在这里，无论你想在一行中包含哪一列的值，你都可以在collect_set中传递它们，我相信它应该可以工作！

不知道这是否是你要找的，但我需要把值透视到列中，并注意每列中每个值的存在：

df.groupBy('A').pivot('B').agg(lit(1))

如果存在则生成1，否则生成null。奇怪的是，在lit()中指定字符串并不起作用-所有列都返回该值。

在Spark中没有一个好的方法可以在不进行聚合的情况下进行透视，基本上它假设您只使用OneHotEncoder来实现该功能，但这缺乏直接透视的可读性。我发现的最好的方法是：

val pivot = countryKPI
  .groupBy("country_id3", "value")
  .pivot("indicator_id", Seq("a", "b"))
  .agg(first(col("indicator_id")))

pivot.show
+-----------+-----+----+----+
|country_id3|value|   a|   b|
+-----------+-----+----+----+
|        ABC|    8|null|   b|
|        POL|    9|   a|null|
|        POL|    7|null|   b|
|        ABC|    7|   a|null|
+-----------+-----+----+----+

但是，如果(country_id3, value)在数据集中不是唯一的，那么您将折叠行，并可能从透视列中获取一个有点无意义的first()值。
另一种方法是向数据集添加一个id列，根据该新id分组，透视所需列，然后联接回原始数据集。

val countryWithId = countryKPI.withColumn("id", monotonically_increasing_id)
val pivotted = countryWithId
.groupBy("id")
.pivot("indicator_id")
.agg(first(col("indicator_id")))

val pivot2 = countryWithId.join(pivotted, Seq("id")).drop("id") //.drop("indicator_id")

pivot2.show
+-----------+------------+-----+----+----+
|country_id3|indicator_id|value|   a|   b|
+-----------+------------+-----+----+----+
|        ABC|           a|    7|   a|null|
|        ABC|           b|    8|null|   b|
|        POL|           a|    9|   a|null|
|        POL|           b|    7|null|   b|
+-----------+------------+-----+----+----+

在本例中，您仍然拥有原始的透视列，但是如果愿意，也可以.drop()该透视列。

下面的代码片段看起来很有效--但我不确定按avg进行的聚合是否正确--尽管输出是“拟合数”。

countryKPI.groupBy("country_id3").pivot("indicator_id").avg("value").show

我不确定对于更大的数据量（平均值）来说，与仅仅重用值相比，这是否是“低效的”（因为我不想聚合）。