无法示例化org.apache.hadoop.hive.ql.metadata.sessionhivemetastoreclient

hjzp0vay  于 2021-06-24  发布在  Hive
关注(0)|答案(0)|浏览(254)

在尝试执行简单的sql查询时,pyspark.sql出现问题,但我看到以下错误:
analysisexception:'org.apache.hadoop.hive.ql.metadata.hiveexception:java.lang.runtimeexception:无法示例化org.apache.hadoop.hive.ql.metadata.sessionhivemetastoreclient;'
最初读取配置单元表的代码工作正常:
df=spark.read.csv(“hdfs://localhost:54310/user/hduser/creditfraud/creditscoring.csv“,header=true,sep=',',inferschema=true)df.printschema()
但在运行spark.sql时,我遇到了一些问题:
df.createorreplacetempview(“可信”)
df1=spark.sql(“select*from creditExpectable limit 10”)df1.show()
hive 2.3.5工作正常,我可以看到其中的表并运行sql代码,因此我认为问题来自spark和linux配置文件,这些文件如下:
spark-defaults.conf:默认值:
spark.sql.hive.metastore.version 2.3.0版本
spark.sql.hive.metastore.jars/usr/local/hive/lib/:/usr/local/hadoop/share/hadoop/
.bashrc配置文件:

设置配置单元导出

hive\u home=/usr/local/hive export hive\u conf\u dir=/usr/local/hive/conf path=$path:$hive\u home/bin export path export hadoop\u classpath=$hadoop\u classpath:/usr/local/hive/lib/*

设置Spark值

export spark\u home=/usr/local/spark path=$path:$spark\u home/bin export pyspark\u python=python3 export pyspark\u driver\u python=jupyter export pyspark\u driver\u python\u opts=“笔记本”
如果你能帮我找出问题的根源,我将不胜感激。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题