谁能分享一下如何将dataframe转换成RDD？
dataframe
RDD
2nc8po8w1#
简单地说：
val rows: RDD[Row] = df.rdd
5sxhfpxr2#
如果要将行Map到不同的RDD元素，请使用df.map(row => ...)将 Dataframe 转换为RDD。例如
df.map(row => ...)
df.map(row => (row(1), row(2)))
为您提供成对的RDD，其中df的第一列是键，df的第二列是值。
tgabmvqs3#
我正在寻找我的答案，发现了这篇帖子。Jean的回答绝对正确，并补充说“df.rdd”将返回RDD[ROWS]。一旦我得到RDD，我需要应用Split()。为此，我们需要将RDD[行}转换为RDD[字符串]
val opt=spark.sql("select tags from cvs").map(x=>x.toString()).rdd
3条答案
按热度按时间2nc8po8w1#
简单地说：
5sxhfpxr2#
如果要将行Map到不同的RDD元素，请使用
df.map(row => ...)将 Dataframe 转换为RDD。例如为您提供成对的RDD，其中df的第一列是键，df的第二列是值。
tgabmvqs3#
我正在寻找我的答案，发现了这篇帖子。
Jean的回答绝对正确，并补充说“df.rdd”将返回RDD[ROWS]。一旦我得到RDD，我需要应用Split()。为此，我们需要将RDD[行}转换为RDD[字符串]