pyspark pivot row without aggrefation [duplicate]

x33g5p2x 于 2023-05-28 发布在 Spark

关注(0)|答案(1)|浏览(155)

此问题已在此处有答案：

WAITING at sun.misc.Unsafe.park(Native Method)（3个答案）
pyspark pivot without aggregation function（1个答案）
2天前关闭。
我有一个名为df的Pyspark Dataframe，如下所示：

我需要根据ProducingMonth和classification列透视数据，并需要生成以下输出

我正在使用以下pyspark代码

pivotDF = df.groupBy("WELL_ID","CLASSIFICATION").pivot("CLASSIFICATION")

当我显示数据时，我收到错误“'GroupedData'对象没有属性'display'”

pyspark

来源：https://stackoverflow.com/questions/76330671/pyspark-pivot-row-without-aggrefation

1条答案

按热度按时间

1qczuiv01#

您需要在之后执行聚合。

from pyspark.sql import functions as F

pivotDF = df.groupBy("WELL_ID","producing_month").pivot("CLASSIFICATION").agg(
   F.first("OIL"),
   F.first("GAS"),
)

然后你可以使用display pivotDF.display()

赞(0）回复(0）举报 2023-05-28

我来回答

pyspark pivot row without aggrefation [duplicate]

1条答案

相关问题

热门标签

最新问答