我们有一个流工作流的单元测试（使用Flink 1.14.4），它有绑定的源代码，写Parquet文件。因为它是绑定的，检查点被自动禁用（根据INFO消息Disabled Checkpointing. Checkpointing is not supported and not needed when executing jobs in BATCH mode.），这意味着将ExecutionCheckpointingOptions.ENABLE_CHECKPOINTS_AFTER_TASKS_FINISH设置为true没有任何效果。
唯一的解决方案是在单独的线程中运行带有未绑定源的线束，并在没有更多数据写入输出时强制它终止吗？看起来很尴尬...
1条答案
按热度按时间mspsb9vt1#
对其他人来说，解决办法是：
1.确保您使用的是
FileSink，而不是旧版的StreamingFileSink。1.将
ExecutionCheckpointingOptions.ENABLE_CHECKPOINTS_AFTER_TASKS_FINISH设定为true。