spark scalaDataframe和数据集实现预期输出

k0pti3hp 于 2021-05-27 发布在 Spark

关注(0)|答案(2)|浏览(449)

这个问题在这里已经有答案了：

groupby之后如何将值聚合到集合中(3个答案）
六个月前关门了。
我有一个Dataframe如下

scala> df.show
+----+------+
|SLNO|Values|
+----+------+
|   A|     y|
|   A|     t|
|   A|     e|
|   B|     f|
|   C|     g|
|   B|     h|
|   C|     k|
|   C|     u|
|   B|     p|
+----+------+

预计结果如下：

SLNO Values
A    y,t,e
B    f,h,p
C    g,k,u

如何通过sparkscala的dataframe和dataset模型实现这一点？。
我在数据集中尝试了下面这样的方法，但在这之后就被打中了

scala> ds.filter(line=> line.split("\t")(0).size <=1 ).map(line => Map(line.split("\t")(0) -> line.split("\t")(1)))
res86:org.apache.spark.sql.Dataset[scala.collection.immutable.Map[String,String]] = [value: map<string,string>]

//不知道如何进一步分组

scala DataFrame Dataset apache-spark

来源：https://stackoverflow.com/questions/62933124/spark-scala-dataframe-and-dataset-achieving-desired-out

2条答案

按热度按时间

1rhkuytd1#

检查以下代码。

scala> df.show(false)
+----+------+
|slno|values|
+----+------+
|A   |y     |
|A   |t     |
|A   |e     |
|B   |f     |
|C   |g     |
|B   |h     |
|C   |k     |
|C   |u     |
|B   |p     |
+----+------+
scala> df
.groupBy("slno")
.agg(concat_ws(",",collect_list($"values")).as("values"))
.orderBy($"slno".asc)
.show(false)
+----+------+
|slno|values|
+----+------+
|A   |y,t,e |
|B   |f,h,p |
|C   |g,k,u |
+----+------+

scala> case class Example(slno: String,values:String)
defined class Example

scala> val ds = Seq(Example("A","y"),Example("A","t"),Example("A","e"),Example("B","f"),Example("C","g"),Example("B","h"),Example("C","k"),Example("C","u"),Example("B","p")).toDS

scala> ds
.groupBy("slno")
.agg(concat_ws(",",collect_list($"values")).as("values"))
.orderBy($"slno".asc)
.show(false)
+----+------+
|slno|values|
+----+------+
|A   |y,t,e |
|B   |f,h,p |
|C   |g,k,u |
+----+------+

展开查看全部

赞(0）回复(0）举报 2021-05-27

wpcxdonn2#

df.createOrReplaceTempView("df")
spark.sql("select SLNO, array_join(collect_list(Values), ',') as Values from df group by SLNO")

赞(0）回复(0）举报 2021-05-27

我来回答

spark scalaDataframe和数据集实现预期输出

2条答案

相关问题

热门标签

最新问答