我对spark和ambari的集群安装比较新。最近,我接到一个任务,在一个集群上安装spark2.1.0,这个集群预装了ambari和spark1.6.2以及hdfs和yarn 2.7.3。
我的任务是安装spark 2.1.0,因为它是最新版本,具有更好的compacity和rspark等功能。我在网上搜索了几天,只在aws或spark2.1.0上找到了一些安装指南。
例如:http://data-flair.training/blogs/install-deploy-run-spark-2-x-multi-node-cluster-step-by-step-guide/ 以及http://spark.apache.org/docs/latest/building-spark.html.
但他们都没有提到Spark的不同版本的干扰。因为我需要保持这个集群运行,我想知道一些集群的潜在威胁。
有没有合适的安装方法?谢谢!
1条答案
按热度按时间vh0rcniy1#
如果您想让您的spark2安装由ambari管理,那么spark2必须由ambari提供。
HDP2.5.3不支持spark 2.1.0,但是它附带了spark 2.0.0的技术预览版。
您可以选择:
手动安装spark 2.1.0,而不是由ambari管理
使用spark 2.0.0代替hdp 2.5.3提供的spark 2.1.0
使用不同的堆栈。ibm开放平台(iop)4.3计划于2017年发布,它将附带spark 2.1.0支持。您可以从今天的技术预览版开始使用它。
升级hdp(2.6),支持spark2.1。
扩展HDP2.5堆栈以支持spark 2.1.0。您可以在wiki上看到如何自定义和扩展ambari堆栈。这将允许您使用spark 2.1.0并由ambari管理。然而,这将是一个很大的工作来实现,因为你是新的Ambari这将是相当困难的。