import org.apache.spark.sql.hive.orc._
import org.apache.spark.sql._
val sparksession=SparkSession.builder()
.master("local").appname("MyApp").enableHiveSupport.getOrCreate();
val Df1=sparksession.read.format("csv").option("header","false")
.option("inferSchema","false").load("file_loc/file_name")
Df1.createOrReplaceTempView("Temp_Table")
val Df2=sparksession.sql(select * from Temp_Table)
我试图从一个临时表中读取数据,但是在从这个表中选择数据时,我遇到了一个不完整的hdfs uri问题。
直到 Df1.createOrReplaceTempView("Temp_Table")
行一切正常,但当我执行最后一行得到下面的错误消息。
org.apache.spark.sql.AnalysisException:org.apache.hadoop.hive.q1.metadata.HiveException:MetadataException(message:message:MetadataException(message:
Got exception:java.io.IOException Incomplete HDFS URI,no host: hdfs://hostname:port:port/apps/spark/warehouse))
Caused by:org.apache.hadoop.hive.ql.metadata.HiveException: MetadataException((message:message:MetadataException(message:
Got exception:java.io.IOException Incomplete HDFS URI,no host: hdfs://hostname:port:port/apps/spark/warehouse))
Caused by:org.apache.hadoop.hive.metastore.api.MetadataException:MetadataException((message:message:MetadataException(message:
Got exception:java.io.IOException Incomplete HDFS URI,no host: hdfs://hostname:port:port/apps/spark/warehouse))
已 checkout 所有配置文件,但找不到要在配置文件中的某个位置设置两次的端口号(如上面的错误消息中所述)。请给出一个提示,说明我还需要检查什么才能解决此问题?或者有没有办法用sparksession设置这个值?
暂无答案!
目前还没有任何答案,快来回答吧!