spark cdh5.7上的配置单元执行错误

zfciruhq 于 2021-06-29 发布在 Hive

关注(0)|答案(2)|浏览(431)

最近我已经将集群更新为cdh5.7，我正在尝试在spark上运行一个配置单元查询处理。
我已经将配置单元客户机配置为使用spark执行引擎和配置单元对cloudera manager的spark服务的依赖关系。
通过hue，我只是在运行一个简单的select查询，但似乎一直都会遇到这个错误：error while processing statement:failed:execution error，从org.apache.hadoop.hive.ql.exec.spark.sparktask返回代码3
以下是相同的日志：

ERROR operation.Operation: Error running hive query: 
org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask
    at org.apache.hive.service.cli.operation.Operation.toSQLException(Operation.java:374)
    at org.apache.hive.service.cli.operation.SQLOperation.runQuery(SQLOperation.java:180)
    at org.apache.hive.service.cli.operation.SQLOperation.access$100(SQLOperation.java:72)
    at org.apache.hive.service.cli.operation.SQLOperation$2$1.run(SQLOperation.java:232)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
    at org.apache.hive.service.cli.operation.SQLOperation$2.run(SQLOperation.java:245)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)

任何帮助解决这个问题都很好！

Hive apache-spark cloudera-cdh

来源：https://stackoverflow.com/questions/37135532/hive-on-spark-cdh5-7-execution-error

2条答案

按热度按时间

xiozqbni1#

Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask

不是真正的错误消息，您最好使用hivecli打开调试信息，如

bin/hive --hiveconf hive.root.logger=DEBUG,console

你会得到更详细的日志，比如，这些是我以前得到的：

16/03/17 13:55:43 [fxxxxxxxxxxxxxxxx4 main]: INFO exec.SerializationUtilities: Serializing MapWork using kryo
java.lang.NoSuchMethodError: com.fasterxml.jackson.module.scala.deser.BigDecimalDeserializer$.handledType()Ljava/lang/Class;

这是由某些依赖项冲突引起的，请参见https://issues.apache.org/jira/browse/hive-13301 详细信息。

赞(0）回复(0）举报 2021-06-29

efzxgjgh2#

这个问题是由一个开放的jira引起的：https://issues.apache.org/jira/browse/hive-11519. 您应该使用另一个序列化工具。。

赞(0）回复(0）举报 2021-06-29