scala—如何将rdd数组字符串转换为Dataframe

pinkon5k 于 2021-05-27 发布在 Spark

关注(0)|答案(1)|浏览(763)

请帮我把下面ip地址的rdd数组转换成一个Dataframe。
（完全披露：我几乎没有rdd的工作经验）
rdd创建：

val SCND_RDD = FIRST_RDD.map(kv => kv._2).flatMap(r => r.get("ip")).map(o => o.asInstanceOf[scala.collection.mutable.Map[String, String]]).flatMap(ip => ip.get("address"))

SCND_RDD.take(3)

结果：

SCND_RDD: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[33] at flatMap at <console>:38

res87: Array[String] = Array(5.42.212.99, 51.34.21.60, 63.99.831.7)`

我的rdd<->Dataframe转换尝试：

case class X(callId: String)

val userDF = SCND_RDD.map{case Array(s0)=>X(s0)}.toDF()

这就是我得到的错误

defined class X

<console>:40: error: scrutinee is incompatible with pattern type;

 found   : Array[T]
 required: String
       val userDF = NIPR_RDD22.map{case Array(s0)=>X(s0)}.toDF()

scala rdd apache-spark

来源：https://stackoverflow.com/questions/63570774/how-to-convert-an-rdd-array-string-to-a-dataframe

1条答案

按热度按时间

kmbjn2e31#

我留下的评论是一个重复的问题，可能会帮助你。
但在这里我也离开了我的审判。

val rdd = sc.parallelize(Array("test", "test2", "test3"))
rdd.take(3)

//res53: Array[String] = Array(test, test2, test3)

val df = rdd.toDF()
df.show

+-----+
|value|
+-----+
| test|
|test2|
|test3|
+-----+

赞(0）回复(0）举报 2021-05-27

我来回答

scala—如何将rdd数组字符串转换为Dataframe

1条答案

相关问题

热门标签

最新问答