val ordersRDD = sc.textFile("/user/cloudera/sqoop_import/orders");
val ordersRDDStatus = ordersRDD.map( rec => (rec.split(",")(3), 1));
val countOrdersStatus = ordersRDDStatus.countByKey();
val output = countOrdersStatus.map(input => input._1 + "\t" + input._2);如何将可iterable[string]的输出保存到spark scala中的hdfs。iterable[字符串]
注意：ouput不是rdd（我不能使用output.saveastextfile（“hdfs路径”）
1条答案
按热度按时间jtjikinw1#
一种方法是只编写一个简单的hdfs文件（与在vanillascala或java中的方法相同）。这与Spark无关。
另一种方法是把你的
output把它保存起来。