当我尝试使用 Spark-Sql
反对 Hive
,抛出如下错误。
Exception in thread "main" java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
at org.apache.spark.sql.hive.HiveUtils$.formatTimeVarsForHiveClient(HiveUtils.scala:204)
at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver$.main(SparkSQLCLIDriver.scala:90)
at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.main(SparkSQLCLIDriver.scala)
根据so thread hive stats jdbc timeout for hive querys in spark and spark on hive sql query error nosuchfielderror hive stats jdbc timeout,当您使用特定版本的spark和hive时会出现此问题,实际上,如果您要使用最新版本的spark(如2.4.3)和最新的hive(如3.1.1),则不能跳过它。
我们可以查一下这个社区的线索,https://issues.apache.org/jira/browse/spark-13446,自2019年2月以来没有更新。
你知道这个问题的最新进展吗?如果我们想自己在源代码级别跳过它,有没有关于如何制作它的线索?
提前谢谢你的帮助。
1条答案
按热度按时间k10s72fa1#
只有spark 3.0.0(尚未发布)才支持使用Hive3.1.1。
吉拉-https://jira.apache.org/jira/browse/spark-24360