在spark下载页面中，我们可以在3.0.0版本预览版和2.4.4版本之间进行选择。
对于版本3.0.0-preview，有以下几种包类型
为apache hadoop 2.7预构建
为apache hadoop 3.2及更高版本预先构建
使用用户提供的apache hadoop预构建
源代码
对于版本2.4.4，有以下几种包类型
为apache hadoop 2.7预构建
为apache hadoop 2.6预构建
使用用户提供的apache hadoop预构建
使用scala 2.12和用户提供的apache hadoop预构建
源代码
由于没有针对apachehadoop3.1.2的预构建选项，我可以下载用户提供的apachehadoop包的预构建，还是应该下载源代码？
1条答案
按热度按时间huwehgph1#
如果您对构建源代码感到满意，那么这是您的最佳选择。
否则，您已经有了一个hadoop集群，所以选择“用户提供”并将相关的core-site.xml、hive-site.xml、yarn-site.xml和hdfs-site.xml全部复制到集群中
$SPARK_CONF_DIR，希望大部分都能成功注意：直到spark3.x-spark-18673，Dataframe才在hadoop3上工作