spark和hadoop版本

ca1c2owp  于 2021-05-29  发布在  Hadoop
关注(0)|答案(3)|浏览(445)

在googleclouddataproc测试版中,spark和hadoop的版本是什么?
spark编译scala的版本是什么?

j0pj023g

j0pj023g1#

spark的版本取决于使用中的dataproc版本,目前它使用的是dataprocv1.2版本,并且
Spark:2.2.1 scala:2.11.8
dataproc有许多框架的预定义初始化脚本,包括kafka,其版本如下:
Kafka:2.11.0.10.1Kafka客户端:0.10.1

u4dcyp6a

u4dcyp6a2#

文档中列出了当前spark版本信息。spark 2.1.0使用scala 2.11。

mwg9r5ms

mwg9r5ms3#

根据官方公告:
今天,我们推出的集群具有spark 1.5和hadoop 2.7.1。

相关问题