我有一个字符串列表,但我找不到方法将列表更改为spark流的数据流。我试过这个:
val tmpList = List("hi", "hello")
val rdd = sqlContext.sparkContext.parallelize(Seq(tmpList))
val rowRdd = rdd.map(v => Row(v: _*))
但是eclipse说sparkcontext不是sqlcontext的成员,所以,我该怎么做呢?谢谢你的帮助。
我有一个字符串列表,但我找不到方法将列表更改为spark流的数据流。我试过这个:
val tmpList = List("hi", "hello")
val rdd = sqlContext.sparkContext.parallelize(Seq(tmpList))
val rowRdd = rdd.map(v => Row(v: _*))
但是eclipse说sparkcontext不是sqlcontext的成员,所以,我该怎么做呢?谢谢你的帮助。
1条答案
按热度按时间sycxhyv71#
dstream是rdd的序列,它是在您将接收到的数据注册到某个流源(如kafka)时创建的。对于测试,如果要从rdd列表中创建数据流,可以按以下步骤进行:
希望它能回答你的问题。