请让我知道这个问题是否更适合不同的渠道，但我想知道有什么推荐的工具可以跨大量远程服务器安装、配置和部署hadoop/spark。我已经熟悉如何设置所有的软件，但我正在尝试确定我应该开始使用什么，使我能够轻松地部署在大量的服务器上。我已经开始研究配置管理工具（如chef、puppet、ansible），但是我想知道什么是最好的和最用户友好的选择。我也不想使用spark-ec2。我应该创建本地脚本来循环包含ip的hosts文件吗？我应该用pssh吗？pscp？等等，我只想能够ssh与尽可能多的服务器需要和安装所有的软件。
2条答案
按热度按时间zphenhs41#
看看Apache·Ambari。它是集中管理配置、添加新节点、监视集群等的好工具。这将是您的最佳选择。
lhcgjxsq2#
如果你有一些脚本语言的经验，那么你可以去厨师。这些方法已经可以用于集群的部署和配置，而且非常容易开始。
如果您想自己完成，那么可以使用sshxcutejavaapi，它在远程服务器上运行脚本。您可以在那里构建命令并将它们传递给sshxcuteapi以部署集群。