这个Dataframe方法怎么样。。。
1） 从csv创建Dataframe。
如何将csv文件读取为dataframe或类似的示例。

val csv = sqlContext.sparkContext.textFile(csvPath).map {
  case(txt) =>
    try {
      val reader = new CSVReader(new StringReader(txt), delimiter, quote, escape, headerLines)
      val parsedRow = reader.readNext()
      Row(mapSchema(parsedRow, schema) : _*)
    } catch {
     case e:  IllegalArgumentException =>  throw new UnsupportedOperationException("converted from Arg to Op except")
 }
    }

2） 从hbase数据（如果使用hortonworks）或phoenix创建另一个Dataframe。
3） 加入并应用函数（可以是udf，也可以是其他函数）。。等等…），生成的文件可能又是一个Dataframe
4） 将结果Dataframe与第二个表连接并以csv格式输出数据，如下面的示例中的伪代码所示。。。
应该可以准备带有自定义列和相应值的数据框，并另存为csv文件。你也可以把这种放在Spark壳里。

val df = sqlContext.read.format("com.databricks.spark.csv").
                             option("header", "true").
                             option("inferSchema","true").
                             load("cars93.csv")
    val df2=df.filter("quantity <= 4.0")
    val col=df2.col("cost")*0.453592
    val df3=df2.withColumn("finalcost",col)
    df3.write.format("com.databricks.spark.csv").
                             option("header","true").
                             save("output-csv")

希望这有帮助。。祝你好运。