我已经能够购买4台物理机器来建立一个Spark测试集群。数据将存储在cassandra中，使用spark（sql和Dataframe）进行计算。我计划使用mesos，因为作为一个开发人员，我希望尽可能少地进行基础设施工作。
但是，我找到的几乎所有教程都来自于misophere，使用它们的商业dcos基础结构。我能够将dcos cli配置为使用marathon，但是一个mesophere支持人员告诉我，它可能工作得不太好。
我能够安装cassandra，但是marathon告诉我它的状态是“不健康的”。spark甚至没有走那么远，marathon告诉我部署任务失败了，但是没有长时间，没有错误消息，什么都没有。
使用mesos是个坏主意吗？有别的选择吗？关于如何运行cassandra和spark还有其他资源吗？我不介意买书。
更新：我正在所有四台机器上运行centos 7。这些机器有超过20gig的ram，12个cpu和大约1terrabyte的磁盘。其中一个被设置为主节点（运行zookeeper和mesos masters），其余的机器是从机/客户机。
1条答案
按热度按时间vaj7vani1#
这里有一些关于如何安装集群的好文章，比如
https://www.digitalocean.com/community/tutorials/how-to-configure-a-production-ready-mesosphere-cluster-on-ubuntu-14-04
https://open.mesosphere.com/advanced-course/
不幸的是，您没有提供关于您的环境的详细信息，例如您正在使用的操作系统。
就我个人而言，我以完全对接的方式在coreos集群上运行mesos，这意味着mesos主服务器和从服务器也在一个容器中运行。如果你感兴趣，看看
https://github.com/tobilg/coreos-setup
看我的
systemd设置在coreos上运行mesos。关于spark，有几种方法可以让它在mesos上运行。看一下spark的文档
http://spark.apache.org/docs/latest/running-on-mesos.html
想个主意。此外，您可以在docker容器中运行spark jobserver，然后它将充当spark作业的客户端应用程序（使用RESTAPI等）。dockerfile/图像可在
https://github.com/tobilg/docker-spark-jobserver
https://hub.docker.com/r/tobilg/spark-jobserver/
要将cassandra作为mesos的框架运行，请看
https://github.com/mesosphere/cassandra-mesos