尝试使用pyspark sql上下文连接两个文件时出现runtimeexception

fiei3ece  于 2021-07-12  发布在  Spark
关注(0)|答案(0)|浏览(305)

你能帮我理解为什么我在尝试使用pysparksql上下文连接两个文件时遇到runtimeexception吗?我尝试了下面的两种sql查询方法:注解掉其中一行,然后运行代码,但是错误不断出现。
非常感谢
这是我的密码:


# input data

vin = sqlContext.read.format('com.databricks.spark.csv').options(header='true', 
inferschema='true').load("hdfs://andromeda.eecs.qmul.ac.uk/data/bitcoin/vin.csv")
vout = sqlContext.read.format('com.databricks.spark.csv').options(header='true', 
inferschema='true').load("hdfs://andromeda.eecs.qmul.ac.uk/data/bitcoin/vout.csv")

# filter

voutf = vout.filter(vout['pubkey']== "{?1HB5XMLmzFVj8ALj6mfBsbifRoD4miY36v}")

# use spark sql to join

vin.createOrReplaceTempView("vinsql")
voutf.createOrReplaceTempView("voutsql")

# method1

join1 = sqlContext.sql("select * from vinsql i, voutsql o where i.txid == o.pubkey")

# method2

join1 = sqlContext.sql("SELECT vinsql.*, voutsql.* FROM vinsql JOIN voutsql ON vinsql.txid = 
voutsql.pubkey")

以下是错误消息:

pyspark.sql.utils.AnalysisException: u'org.apache.hadoop.hive.ql.metadata.HiveException: 
java.lang.RuntimeException: Unable to instantiate 
org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient;'

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题