无法读取spark sql不完整hdfs uri中的临时表

6pp0gazn  于 2021-05-27  发布在  Hadoop
关注(0)|答案(0)|浏览(232)
import org.apache.spark.sql.hive.orc._
import org.apache.spark.sql._
val sparksession=SparkSession.builder()
    .master("local").appname("MyApp").enableHiveSupport.getOrCreate();
val  Df1=sparksession.read.format("csv").option("header","false")
   .option("inferSchema","false").load("file_loc/file_name") 
Df1.createOrReplaceTempView("Temp_Table")
val Df2=sparksession.sql(select * from Temp_Table)

我试图从一个临时表中读取数据,但是在从这个表中选择数据时,我遇到了一个不完整的hdfs uri问题。
直到 Df1.createOrReplaceTempView("Temp_Table") 行一切正常,但当我执行最后一行得到下面的错误消息。

org.apache.spark.sql.AnalysisException:org.apache.hadoop.hive.q1.metadata.HiveException:MetadataException(message:message:MetadataException(message:
Got exception:java.io.IOException Incomplete HDFS URI,no host: hdfs://hostname:port:port/apps/spark/warehouse))

Caused by:org.apache.hadoop.hive.ql.metadata.HiveException: MetadataException((message:message:MetadataException(message:
Got exception:java.io.IOException Incomplete HDFS URI,no host: hdfs://hostname:port:port/apps/spark/warehouse))

Caused by:org.apache.hadoop.hive.metastore.api.MetadataException:MetadataException((message:message:MetadataException(message:
Got exception:java.io.IOException Incomplete HDFS URI,no host: hdfs://hostname:port:port/apps/spark/warehouse))

已 checkout 所有配置文件,但找不到要在配置文件中的某个位置设置两次的端口号(如上面的错误消息中所述)。请给出一个提示,说明我还需要检查什么才能解决此问题?或者有没有办法用sparksession设置这个值?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题