Hadoop3.x和Hive3.x是否可以使用Spark2.4?

ct3nt3jp  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(1306)

我们使用spark2.4.0连接到hadoop2.7集群,并从hivemetastoreversion2.3进行查询。但是集群管理团队已经决定升级到hadoop3.x和hive3.x。我们还不能迁移到spark3,它与hadoop3和hive3兼容,因为我们不能测试是否有任何中断。
有没有可能坚持使用Spark2.4.x版本,而仍然能够使用Hadoop3和Hive3?
我知道backporting是一种选择,如果你能告诉我这个方向就太好了。

8gsdolmq

8gsdolmq1#

您可以使用hadoop3.1概要文件编译spark2.4,而不依赖于默认版本。你需要使用 hadoop-3.1 构建spark文档中描述的配置文件,例如:

./build/mvn -Pyarn -Phadoop-3.1 -DskipTests clean package

相关问题