关于hive\u stats\u jdbc\u timeout以及如何在源代码级别跳过它的任何更新

8yoxcaq7  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(477)

当我尝试使用 Spark-Sql 反对 Hive ,抛出如下错误。

Exception in thread "main" java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
        at org.apache.spark.sql.hive.HiveUtils$.formatTimeVarsForHiveClient(HiveUtils.scala:204)
        at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver$.main(SparkSQLCLIDriver.scala:90)
        at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.main(SparkSQLCLIDriver.scala)

根据so thread hive stats jdbc timeout for hive querys in spark and spark on hive sql query error nosuchfielderror hive stats jdbc timeout,当您使用特定版本的spark和hive时会出现此问题,实际上,如果您要使用最新版本的spark(如2.4.3)和最新的hive(如3.1.1),则不能跳过它。
我们可以查一下这个社区的线索,https://issues.apache.org/jira/browse/spark-13446,自2019年2月以来没有更新。
你知道这个问题的最新进展吗?如果我们想自己在源代码级别跳过它,有没有关于如何制作它的线索?
提前谢谢你的帮助。

k10s72fa

k10s72fa1#

只有spark 3.0.0(尚未发布)才支持使用Hive3.1.1。
吉拉-https://jira.apache.org/jira/browse/spark-24360

相关问题