我想在多节点集群上安装hadoophdfs和spark。我能够在多节点集群上成功地安装和配置hadoop。我还在主节点上安装并配置了spark。我有疑问，我必须配置的Spark奴隶以及？
ktecyv1j1#
我有疑问，我必须配置在奴隶以及Spark？你不应该。你完了。向hadoopyarn提交spark应用程序（我的结论是集群管理器）所做的工作比必须做的还要多。spark是一个在海量数据集上进行分布式计算的库，因此它只属于spark应用程序（而不是您可能使用的任何集群）。时间到了 spark-submit spark应用程序！
spark-submit
1条答案
按热度按时间ktecyv1j1#
我有疑问，我必须配置在奴隶以及Spark？
你不应该。你完了。向hadoopyarn提交spark应用程序（我的结论是集群管理器）所做的工作比必须做的还要多。
spark是一个在海量数据集上进行分布式计算的库，因此它只属于spark应用程序（而不是您可能使用的任何集群）。
时间到了
spark-submitspark应用程序！