在sparkDataframe中,如何将行转换为列?

oyxsuwqo  于 2021-05-29  发布在  Spark
关注(0)|答案(1)|浏览(727)

这可能是一个非常简单的问题。我想把dataframe的所有行转置为列。我想将这个df转换为如下所示的输出df。spark有哪些方法可以实现这一点?
注意:输入df中只有一列

import sparkSession.sqlContext.implicits._
val df = Seq(("row1"), ("row2"), ("row3"), ("row4"), ("row5")).toDF("COLUMN_NAME")
df.show(false)

    Input DF:
    +-----------+
    |COLUMN_NAME|
    +-----------+
    |row1       |
    |row2       |
    |row3       |
    |row4       |
    |row5       |
    +-----------+

    Output DF
    +----+----+----+----+----+
    |row1|row2|row3|row4|row5|
    +----+----+----+----+----+
dxxyhpgq

dxxyhpgq1#

这对你有帮助吗?

df.withColumn("group",monotonicallyIncreasingId  ).groupBy("group").pivot("COLUMN_NAME").agg(first("COLUMN_NAME")).show

相关问题