我们已经在服务器上安装了hadoop2.5。有没有可能使用hadoop来部署spark程序？我想spark使用现有的Yarn来安排任务，并能够读写现有的hdfs。我怎样才能做到这一点？
syqv5f0l1#
您可以尝试使用可用的apachespark预构建下载https://spark.apache.org/downloads.html如果这不起作用，那么您需要通过添加hadoop jar来构建sparkhttps://spark.apache.org/docs/latest/building-spark.html 很简单通过在spark default config中添加配置，spark可以直接访问hdfs。检查spark中的所有配置https://spark.apache.org/docs/latest/configuration.html您的Spark可以运行在Yarn以及本地模型-https://spark.apache.org/docs/latest/running-on-yarn.html您不需要在现有的hadoop设置中进行任何新的更改就可以使spark工作，您只需要配置spark中的所有内容。
1条答案
按热度按时间syqv5f0l1#
您可以尝试使用可用的apachespark预构建下载https://spark.apache.org/downloads.html
如果这不起作用，那么您需要通过添加hadoop jar来构建sparkhttps://spark.apache.org/docs/latest/building-spark.html 很简单
通过在spark default config中添加配置，spark可以直接访问hdfs。检查spark中的所有配置
https://spark.apache.org/docs/latest/configuration.html
您的Spark可以运行在Yarn以及本地模型-https://spark.apache.org/docs/latest/running-on-yarn.html
您不需要在现有的hadoop设置中进行任何新的更改就可以使spark工作，您只需要配置spark中的所有内容。