我目前正在flink上学习可伸缩性。从版本1.2.0开始，引入了动态重缩放。我正在考虑扩展从kafka源读取数据的长时间运行的作业。
有关动态重缩放的问题。
为了扩展我的flink应用程序，例如：添加新的任务管理器，我必须重新启动job/yarn会话来使用新添加的资源吗？
我认为可以编写yarn客户机来部署新的任务管理器，并让它与作业管理器通信，这在现有的flink yarn客户机应用程序中已经可用了吗？
请原谅，如果这些问题是太基本，我确实通过了文件，我不得不承认，我还没有能够把概念连同一些测试部署Yarn最近。
1条答案
按热度按时间mw3dktmi1#
目前，动态缩放意味着更新操作符并行性的能力（flink1.2），无论是键控状态还是非键控状态。
要扩展我的flink应用程序，例如：添加新的任务管理器，我必须重新启动作业/Yarn会话以使用新添加的资源吗是的，必须先停止作业，更新并行性，然后重新启动它。不必担心国家，Flink会处理他们，包括重新分配。
我认为可以编写yarn客户机来部署新的任务管理器，并让它与作业管理器通信，这在现有的flink yarn客户机应用程序中已经可用了吗不，你不能。这项功能似乎将在将来添加。目前，我们不能这样做。