scala 通过循环追加 Dataframe

rdrgkggo 于 2023-01-13 发布在 Scala

关注(0)|答案(1)|浏览(151)

我创建了一个空 Dataframe var c= emptyDataFrame
另外，我有一个包含200多列的数据集，下面是我的循环代码

for (x <- groupcols){
 var t= df.groupBy(x).agg(countDistinct ("ID") as "ID_Count", countDistinct("ID")/df.count as "Percentage")
 t.show 
}

t.show 提供了3列表格：a栏：x，B栏：ID_计数，列c：百分比
我想将结果追加到emptyDataFrame中
我尝试将结果转换为字符串并将结果追加到字符串，但无法查看结果。

scala

来源：https://stackoverflow.com/questions/75025795/appending-the-dataframe-via-loop

1条答案

按热度按时间

qij5mzcb1#

我会使用reduce函数：

val df = groupcols
    .map(g => g.groupBy(x).agg(countDistinct ("ID") as "ID_Count", countDistinct("ID")/y.count as "Percentage")) })
    .reduceLeft((x, y) => x.union(y))

从头开始编写，没有经过测试，但应该可以像这样工作。你不需要一个空的 Dataframe 。它会把所有的结果结合在一起，你应该可以做一个df.show（）

赞(0）回复(0）举报 2023-01-13

我来回答

scala 通过循环追加 Dataframe

1条答案

相关问题

热门标签

最新问答