使用winutils从本地窗口访问配置单元时遇到以下错误。按以下步骤访问配置单元。有人能帮我解决问题吗。
面对错误:
线程“main”org.apache.spark.sql.analysisexception中的异常:java.lang.runtimeexception:java.io.filenotfoundexception:file/tmp/hive不存在;
步骤1:创建一个文件夹如下,并放置winutils.exe文件。
C:\Users\<>\Documents\winutils\bin\winutils.exe
步骤2:在中创建临时配置单元路径,如下所示,并提供所有权限。
C:\Users\<>\Documents\winutils\tmp\hive
命令:
C:\Users\<>\Documents\winutils\bin>winutils.exe
chmod 777 C:\Users\<>\Documents\winutils\tmp\hive
步骤3:编写如下spark代码以访问hive。
def main(args: Array[String]): Unit = {
System.setProperty("hadoop.home.dir","C:\\Users\\slingaladinne\\Documents\\winutils")
val spark=SparkSession
.builder
.appName("SampleSparkPrg")
.config("spark.master","local")
.enableHiveSupport()
.getOrCreate()
val sampleSeq=Seq((1,"spark"),(2,"Hive"))
println("Seq Created")
val df=spark.createDataFrame(sampleSeq).toDF(colNames = "sno","name")
println("DF Created")
df.show()
}
暂无答案!
目前还没有任何答案,快来回答吧!