你能帮我理解为什么我在尝试使用pysparksql上下文连接两个文件时遇到runtimeexception吗?我尝试了下面的两种sql查询方法:注解掉其中一行,然后运行代码,但是错误不断出现。
非常感谢
这是我的密码:
# input data
vin = sqlContext.read.format('com.databricks.spark.csv').options(header='true',
inferschema='true').load("hdfs://andromeda.eecs.qmul.ac.uk/data/bitcoin/vin.csv")
vout = sqlContext.read.format('com.databricks.spark.csv').options(header='true',
inferschema='true').load("hdfs://andromeda.eecs.qmul.ac.uk/data/bitcoin/vout.csv")
# filter
voutf = vout.filter(vout['pubkey']== "{?1HB5XMLmzFVj8ALj6mfBsbifRoD4miY36v}")
# use spark sql to join
vin.createOrReplaceTempView("vinsql")
voutf.createOrReplaceTempView("voutsql")
# method1
join1 = sqlContext.sql("select * from vinsql i, voutsql o where i.txid == o.pubkey")
# method2
join1 = sqlContext.sql("SELECT vinsql.*, voutsql.* FROM vinsql JOIN voutsql ON vinsql.txid =
voutsql.pubkey")
以下是错误消息:
pyspark.sql.utils.AnalysisException: u'org.apache.hadoop.hive.ql.metadata.HiveException:
java.lang.RuntimeException: Unable to instantiate
org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient;'
暂无答案!
目前还没有任何答案,快来回答吧!