如何放大/缩小正在运行的flink群集?

oknwwptz  于 2021-06-24  发布在  Flink
关注(0)|答案(1)|浏览(473)

我现在在Kubernetes上查Flink。我假设如果我更新taskmanager部署的副本,kubernetes会为我增加/减少tm pod的数量,但我不确定这是否就是我需要做的全部。我还需要做些什么来让工作适应更多/更少的tms吗?

yfwxisqw

yfwxisqw1#

不,就其本身而言,开放源码apache flink还不能对tm pod数量的变化做出React。
有两个方案是设想未来flink将如何在k8s环境中进行自动缩放。其中一种被称为“主动模式”,即flink知道它需要什么资源,并与k8s协作以获得/释放相应的资源。这是正在积极开发的flink-9953。另一种被称为“React模式”的方案是您所描述的:flink扩展自身以使用任何可用的资源。观看flink-10407以了解此功能的进展。
目前,kubernetes上的flink部署实际上是独立部署的容器化版本。我相信你需要
在获取保存点时停止作业
从保存点恢复作业,安排新集群的大小适当
flink operationsPlayground有一个分步示例,说明如何在基于docker compose的部署中进行重缩放,这在概念上非常相似。

相关问题