我已经编写了以下代码,它返回一个“class not found”异常。我不确定要如何将csv文件中的数据加载到sparksql中。
import org.apache.spark.SparkContext
/**
* Loading sales csv using DataFrame API
*/
object CsvDataInput {
def main(args: Array[String]) {
val sc = new SparkContext(args(0), "Csv loading example")
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> args(1),"header"->"true"))
df.printSchema()
df.registerTempTable("data")
val aggDF = sqlContext.sql("select * from data")
println(aggDF.collectAsList())
}
}
1条答案
按热度按时间bqf10yzr1#
尝试替换此行
用这个
您只导入库的一部分,但使用的是来自此部分外部的类。另外,您的导入实际上拼写错误-应该是
org.apache.spark.sql.SQLContext
,并且您使用了其他一些与当前代码无关的包。