当从hadoop集群运行.jar时,我面临以下失败,这个.jar文件是使用intellij生成的。有人能帮忙解决这个问题吗。
面对错误:
error.applicationmaster:未捕获异常:java.lang.classnotfoundexception:scalasparkhivesample
项目代码:
import org.apache.spark.sql.SparkSession
object scalaSparkHiveSample {
def main(args: Array[String]): Unit = {
val spark=SparkSession
.builder
.appName("SampleSparkPrg")
.config("spark.master","local")
.enableHiveSupport()
.getOrCreate()
val sampleSeq=Seq((1,"spark"),(2,"Hive"))
val df=spark.createDataFrame(sampleSeq).toDF(colNames = "sno","name")
println("DF Created")
df.show()
}}
提交命令:
spark2-submit --class scalaSparkHiveSample --queue <--> /development/ph9/data/SReddy/UHAP_AE_Project-v1.jar
暂无答案!
目前还没有任何答案,快来回答吧!