我正在构建一个web应用程序,在那里我将twitter数据流到javadstream中,然后将这些数据存储到kafka中。但我不知道如何从数据流中获取rdd。以下是我的代码供参考。
JavaDStream<String> statuses = twitterStream.map(
new Function<Status, String>() {
public String call(Status status) {
return status.getText();
}
}
);
有人能给我个建议吗?
1条答案
按热度按时间50pmv0ei1#
我不认为你可以直接将dstream转换成rdd,相反,你可以尝试类似的方法
foreachRDD
方法请参见链接中的文档片段Apply a function to each RDD in this DStream. This is an output operator, so 'this' DStream will be registered as an output stream and therefore materialized.