hive在windows上的支持不能使用winutils

p1tboqfb  于 2021-07-12  发布在  Spark
关注(0)|答案(0)|浏览(246)

使用winutils从本地窗口访问配置单元时遇到以下错误。按以下步骤访问配置单元。有人能帮我解决问题吗。
面对错误:
线程“main”org.apache.spark.sql.analysisexception中的异常:java.lang.runtimeexception:java.io.filenotfoundexception:file/tmp/hive不存在;
步骤1:创建一个文件夹如下,并放置winutils.exe文件。

C:\Users\<>\Documents\winutils\bin\winutils.exe

步骤2:在中创建临时配置单元路径,如下所示,并提供所有权限。

C:\Users\<>\Documents\winutils\tmp\hive

命令:

C:\Users\<>\Documents\winutils\bin>winutils.exe

chmod 777 C:\Users\<>\Documents\winutils\tmp\hive

步骤3:编写如下spark代码以访问hive。

def main(args: Array[String]): Unit = {
   System.setProperty("hadoop.home.dir","C:\\Users\\slingaladinne\\Documents\\winutils")
    val spark=SparkSession
      .builder
      .appName("SampleSparkPrg")
      .config("spark.master","local")
      .enableHiveSupport()
      .getOrCreate()
    val sampleSeq=Seq((1,"spark"),(2,"Hive"))
    println("Seq Created")
    val df=spark.createDataFrame(sampleSeq).toDF(colNames = "sno","name")
    println("DF Created")
    df.show() 
}

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题