我正在寻找更好的方法将Dataframe转换为rdd。现在我正在将dataframe转换为collection并循环collection以准备rdd。但我们知道循环不是好的做法。
val randomProduct = scala.collection.mutable.MutableList[Product]()
val results = hiveContext.sql("select id,value from details");
val collection = results.collect();
var i = 0;
results.collect.foreach(t => {
val product = new Product(collection(i)(0).asInstanceOf[Long], collection(i)(1).asInstanceOf[String]);
i = i+ 1;
randomProduct += product
})
randomProduct
//returns RDD[Product]
请建议我使其标准和稳定的格式,这对大量的数据工作。
1条答案
按热度按时间5gfr0r5j1#