我知道flink的默认调度策略,但我想在某些情况下更改startegy。例如,io密集型和cpu密集型,我想在每个节点的群集资源有很大差异时更改默认值。那么,我是否可以基于群集资源执行startegy?
ymdaylpp1#
目前这是不容易做到的。然而,社区正在努力使flink的调度组件可插拔。有了这个改变,就有可能提供你自己的 Scheduler 使您可以对flink的调度逻辑进行细粒度控制的实现。此外,社区还致力于使 ResourceSpecs 这将允许您指定特定操作员的资源需求。然后flink将确保它为操作符分配一个至少具有指定数量的资源的插槽。
Scheduler
ResourceSpecs
1条答案
按热度按时间ymdaylpp1#
目前这是不容易做到的。然而,社区正在努力使flink的调度组件可插拔。有了这个改变,就有可能提供你自己的
Scheduler
使您可以对flink的调度逻辑进行细粒度控制的实现。此外,社区还致力于使
ResourceSpecs
这将允许您指定特定操作员的资源需求。然后flink将确保它为操作符分配一个至少具有指定数量的资源的插槽。