为已部署的apachespark提供配置单元支持

kcugc4gi  于 2021-06-29  发布在  Hive
关注(0)|答案(0)|浏览(182)

我需要在sparksql中使用特定于配置单元的特性,但是我必须使用一个已经部署的apachespark示例,不幸的是,它没有编译的配置单元支持。
我该怎么做才能让Hive支持我的工作?
我尝试使用spark.sql.hive.metastore.jars设置,但总是出现以下异常:
datanucleus.persistence:为类“”创建类型为org.datanucleus.properties.corepropertyvalidator classloaderresolver的验证程序时出错:{1}

org.datanucleus.exceptions.nucleususerexception:持久化进程已被指定为使用名为“datanucleus”的classloaderresolver,但datanucleus插件机制尚未找到它。请检查你的类路径和插件规范。
在这个设置中,我提供了一个spark配置单元(不包括spark core和spark sql)及其所有可选的hadoop依赖项(hadoop归档的cdh特定版本、hadoop common、hadoop hdfs、hadoop mapreduce client core、hadoop yarn api、hadoop yarn client和hadoop yarn common)。
我还使用值1.2.1指定spark.sql.hive.metastore.version
我正在Scala2.10上使用cdh5.3.1(Hadoop2.5.0)和Spark1.5.2

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题