spark scala脚本执行命令

f3temu5u  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(342)

我是新的Spark我有这样的Spark脚本

import org.apache.spark.SparkContext

 /**

 * Loading sales csv using DataFrame API

 */

  object CsvDataInput {
  def main(args: Array[String]) {

   val sc = new SparkContext(args(0), "Csv loading example")
   val sqlContext = new org.apache.spark.sql.SQLContext(sc) 
   val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> args(1),"header"->"true"))

   df.printSchema()
   df.registerTempTable("sales")

   val aggDF = sqlContext.sql("select sum(amt),code from sales where tran='CHG' group by amt,code")

    println(aggDF.collectAsList())  
   }

 }

如何在cloudera中执行该程序我必须使用什么命令
我用了这个命令
./bin/spark shell—类classname—主本地“scriptpath”inputpath
但我没有得到输出。

vql8enpb

vql8enpb1#

你可以使用spark提交。例如

./bin/spark-submit --class classname --master local[*] "Scriptpath" inputpath

相关问题