我试图在spark代码中执行一个配置单元查询,但是我需要使用jar库来使用配置单元执行这个查询,因为我已经用这个jar创建了表,所以要查询表,我必须导入它。我的Spark代码:
val hiveContext=...
hiveContext.sql("ADD JAR hive-jdbc-handler-2.3.4.jar")
hiveContext.sql("SELECT * FROM TABLE")
在前面的问题之后:如何在我添加到spark的spark作业中使用hivecontext添加jar提交参数:
--jar "LOCAL PATH to hive-jdbc-handler-2.3.4.jar"
在我的应用程序日志中,我收到以下消息:
18/08/02 14:10:41,271 | INFO | 180802140805 | SessionState | Added [hive-jdbc-handler-2.3.4.jar] to class path
18/08/02 14:10:41,271 | INFO | 180802140805 | SessionState | Added resources: [hive-jdbc-handler-2.3.4.jar]
18/08/02 14:10:42,179 | ERROR | 180802140805 | org.apache.hive.storage.jdbc.dao.GenericJdbcDatabaseAccessor | Error while trying to get column names.
org.apache.commons.dbcp.SQLNestedException: Cannot load JDBC driver class 'org.postgresql.Driver'
注意,我想在集群中执行我的应用程序。我能做什么?
1条答案
按热度按时间hc2pp10m1#
我添加jar以在spark中使用它的方法是正确的(在集群模式下不需要使用“addfile”方法)。我得到的错误是由于我正在使用的jar已损坏;我把jar换成了新的,它就起作用了。