flink文档提到对于数据流api提供一次或至少一次的交付保证,但是,对于数据集api,我没有发现相同的引用。是否保证将消息准确地传递给数据集中的所有转换;此外,在没有检查点机制的情况下,唯一合乎逻辑的办法是从头开始工作?我可以使用数据流api批处理作业,我会失去什么?
pbpqsu0x1#
这里描述了dataset api的容错性,是的,它基于重试失败的作业。您当然可以将datastreamapi用于有限(批处理)作业。只有在批处理api中才有一些特性,比如机器学习和图形库,dataset api有一些优化,但对于许多应用程序来说,这些优化并不重要。
1条答案
按热度按时间pbpqsu0x1#
这里描述了dataset api的容错性,是的,它基于重试失败的作业。
您当然可以将datastreamapi用于有限(批处理)作业。只有在批处理api中才有一些特性,比如机器学习和图形库,dataset api有一些优化,但对于许多应用程序来说,这些优化并不重要。