我是apache flink的新手,我们的团队正试图在apaches mesos上建立apache flink集群。我们已经安装了带有3个主节点和3个从节点的apachemesos&marathon,现在我们正在尝试安装不带dc/os的apacheflink,如这里所述https://ci.apache.org/projects/flink/flink-docs-release-1.3/setup/mesos.html#mesos-没有DCO。
我有几个问题:
我们需要在所有节点(主节点和从节点)上下载flink并在所有节点上配置mesos.master吗?
或者我们只在一个主节点上下载flink并在那里配置mesos.master?
如果需要在所有节点上下载flink,那么flink目录的位置应该是什么,或者如果有任何脚本可以指定该位置?
在主节点上运行“mesos appmaster.sh”是否也负责在从属节点上运行flink库和类?
谢谢
2条答案
按热度按时间k7fdbhmy1#
我们需要在所有节点(主节点和从节点)上下载flink并在所有节点上配置mesos.master吗?
不,你没有。实际上,这取决于你想用什么样的方式来管理flink。在您的设置中,运行flink最方便的方法是使用marathon运行它,并在部署期间下载二进制文件。看到这个了吗
或者我们只在一个主节点上下载flink并在那里配置mesos.master?
这取决于你。您可以在专用服务器上运行flink,也可以让marathon为您运行。如果你已经参加了马拉松比赛,那么用马拉松跑Flink就更容易了。另一方面,出于调试和概念验证的目的,我将推荐独立版本,您可以在本地计算机上快速更改配置,并了解其工作原理。创建docker映像或二进制文件并将它们发布到存储库中,最后在marathon上部署flink可能会有更多开销,这会减慢开发速度,但会保证生产安全。flink不支持高可用性(ha),所以marathon需要提供基本的ha支持(在代理崩溃时启动flink的新示例)。
如果需要在所有节点上下载flink,那么flink目录的位置应该是什么,或者如果有任何脚本可以指定该位置?
flink不必在所有节点上下载。部署时需要时可以下载。
在主节点上运行“mesos appmaster.sh”是否也负责在从属节点上运行flink库和类?
flink是一个调度器,这意味着它应该在需要时启动mesos上的任务和执行器。
uubf1zoe2#
即使不使用dc/os,也可以随意查看apacheflinkdc/os包。它的核心是一个马拉松应用程序定义,可以部署在纯马拉松/mesos上。flink包(从今天起)不需要任何特定于dc/os的特性。
dc/os示例还可能提供有用的信息。