我在工作中使用Spark 3.3.0版本。
我正在从映像版本-> 2.1.15-ubuntu 20的Dataproc集群执行该作业
但我得到下面的错误：
线程“main”出现异常java.lang.IllegalStateException：Spark版本> 3.2.0尚不受支持（检测到：3.3.0）
有人能帮忙解决这个问题吗？
[spark_version，cluster_Name（ubuntu_version）and execution_result] enter image description here
理想情况下，在dataproc集群镜像版本2.1.15-ubuntu 20上使用spark版本3.3.0，我的作业应该成功执行，但我得到了下面的异常。
线程“main”出现异常java.lang.IllegalStateException：Spark版本> 3.2.0尚不受支持（检测到：3.3.0）
1条答案
按热度按时间91zkwejq1#
一种可能的解决方法是基于Java版本控制。您必须确保
2.1.15-ubuntu20具有Java 11 version。2.0.x版本版本有Java 8版本，与2.1.x版本不兼容。如果您使用的是第三方工具，请仔细检查其当前版本。您得到的错误可能只是因为工具和Java语言的版本。