我正在使用spark1.6。我正在使用spark上下文创建hivecontext。当我将数据保存到配置单元时，它会出错。我正在使用cloudera虚拟机。我的Hive在cloudera虚拟机中，并在我的系统上启动。我可以使用ip访问虚拟机。我已经在vm上启动了thrift服务器和hiveserver2。我有用户节俭服务器的uri hive.metastore.uris ```
val hiveContext = new HiveContext(sc)
hiveContext.setConf("hive.metastore.uris", "thrift://IP:9083")
............
............
df.write.mode(SaveMode.Append).insertInto("test")
我得到以下错误：FAILED: SemanticException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
1条答案
按热度按时间zyfwsgd61#
可能在spark conf文件夹中，hive-site.xml不可用，我添加了以下详细信息。
正在spark配置文件夹中添加hive-site.xml。
正在创建指向配置单元配置文件夹中的hive-site.xml的符号链接。
sudo ln-s/usr/lib/hive/conf/hive-site.xml/usr/lib/spark/conf/hive-site.xml
完成以上步骤后，重新启动spark shell应该会有所帮助。