如何从字符串列表创建数据流?

ndasle7k  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(430)

我有一个字符串列表,但我找不到方法将列表更改为spark流的数据流。我试过这个:

val tmpList = List("hi", "hello")    
val rdd = sqlContext.sparkContext.parallelize(Seq(tmpList))   
val rowRdd = rdd.map(v => Row(v: _*))

但是eclipse说sparkcontext不是sqlcontext的成员,所以,我该怎么做呢?谢谢你的帮助。

sycxhyv7

sycxhyv71#

dstream是rdd的序列,它是在您将接收到的数据注册到某个流源(如kafka)时创建的。对于测试,如果要从rdd列表中创建数据流,可以按以下步骤进行:

val rdd1 = sqlContext.sparkContext.parallelize(Seq(tmpList))
val rdd2 = sqlContext.sparkContext.parallelize(Seq(tmpList1))
ssc.queueStream[String](mutable.Queue(rdd1,rdd2))

希望它能回答你的问题。

相关问题