在scala中将sparkDataframe转换为rdd

3mpgtkmj  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(452)

我正在寻找更好的方法将Dataframe转换为rdd。现在我正在将dataframe转换为collection并循环collection以准备rdd。但我们知道循环不是好的做法。

val randomProduct = scala.collection.mutable.MutableList[Product]()
   val results = hiveContext.sql("select id,value from  details");
   val collection = results.collect();    
   var i = 0;
   results.collect.foreach(t => {
       val product = new Product(collection(i)(0).asInstanceOf[Long], collection(i)(1).asInstanceOf[String]); 
       i = i+ 1;
       randomProduct += product 
   })

   randomProduct
   //returns RDD[Product]

请建议我使其标准和稳定的格式,这对大量的数据工作。

5gfr0r5j

5gfr0r5j1#

val results = hiveContext.sql("select id,value from  details");
results.rdd.map( row => new Product( row.getLong(0), row.getString(1) ) ) // RDD[Product]

相关问题