我按照本教程尝试在我的集群上安装和配置spark。。我的集群(5个节点)托管在aws上,并从cloudera manager安装。
在修改配置文件之后,教程中提到“将/etc/spark/conf的内容同步到所有节点”。
我真的很想知道什么是最简单的方法来实现这一点。我在这里读到了一篇类似的帖子。根据我的理解,对于hadoop,hdfs…等的配置文件。由Zookeeper或cloudera管理员监控。使用cm-deploy或zookeeper可能就是这样。
然而,spark的配置文件完全超出了zookeeper的范围。如何“同步”到其他节点。。
非常感谢!
1条答案
按热度按时间kcugc4gi1#
为什么不通过nfs将相同的ebs挂载到/etc/spark/conf或它的某个父级上,这样文件就会自动同步?