我正在使用apache flink建立一个分析管道来处理物联网数据流。在尝试配置系统时，我似乎找不到检查点启动频率的任何来源？有什么建议或严格的经验法则吗？e、 g.1秒、10秒、1分钟等。？编辑：还有，有没有一种在运行时以编程方式配置检查点间隔的方法？
vnzz0bqm1#
除了前面提到的以外，还有一件事需要考虑：如果您仅依赖事务接收器一次语义，那么这些事务将作为完成每个检查点的一部分提交。这意味着这些事务的任何下游使用者都将经历或多或少由作业的检查点间隔决定的延迟。
gg0vcinb2#
这取决于两件事：如果出现故障（作业将从上次完成的检查点重新启动），您愿意重新处理多少数据？由于数据传输限制和检查点本身的持续时间，您多久可以检查一次？根据我的经验，大多数用户使用10秒左右的检查点间隔，但也配置了“检查点之间的最小暂停”[1]。[1] https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/stream/state/checkpointing.html#enabling-和配置检查点
2条答案
按热度按时间vnzz0bqm1#
除了前面提到的以外，还有一件事需要考虑：如果您仅依赖事务接收器一次语义，那么这些事务将作为完成每个检查点的一部分提交。这意味着这些事务的任何下游使用者都将经历或多或少由作业的检查点间隔决定的延迟。
gg0vcinb2#
这取决于两件事：
如果出现故障（作业将从上次完成的检查点重新启动），您愿意重新处理多少数据？
由于数据传输限制和检查点本身的持续时间，您多久可以检查一次？
根据我的经验，大多数用户使用10秒左右的检查点间隔，但也配置了“检查点之间的最小暂停”[1]。
[1] https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/stream/state/checkpointing.html#enabling-和配置检查点