我们使用spark2.4.0连接到hadoop2.7集群,并从hivemetastoreversion2.3进行查询。但是集群管理团队已经决定升级到hadoop3.x和hive3.x。我们还不能迁移到spark3,它与hadoop3和hive3兼容,因为我们不能测试是否有任何中断。
有没有可能坚持使用Spark2.4.x版本,而仍然能够使用Hadoop3和Hive3?
我知道backporting是一种选择,如果你能告诉我这个方向就太好了。
我们使用spark2.4.0连接到hadoop2.7集群,并从hivemetastoreversion2.3进行查询。但是集群管理团队已经决定升级到hadoop3.x和hive3.x。我们还不能迁移到spark3,它与hadoop3和hive3兼容,因为我们不能测试是否有任何中断。
有没有可能坚持使用Spark2.4.x版本,而仍然能够使用Hadoop3和Hive3?
我知道backporting是一种选择,如果你能告诉我这个方向就太好了。
1条答案
按热度按时间8gsdolmq1#
您可以使用hadoop3.1概要文件编译spark2.4,而不依赖于默认版本。你需要使用
hadoop-3.1
构建spark文档中描述的配置文件,例如: