引用自https://ci.apache.org/projects/flink/flink-docs-stable/dev/connectors/kinesis.html#kinesis-制作人
如果出现故障或重新硬化，数据将再次写入kinesis，导致重复。这种行为通常称为“至少一次”语义。
当目标kinesis流由于重编而处于更新状态时，如何确定要重播多少消息？
在这种情况下，如何限制重播的消息数？
引用自https://ci.apache.org/projects/flink/flink-docs-stable/dev/connectors/kinesis.html#kinesis-制作人
如果出现故障或重新硬化，数据将再次写入kinesis，导致重复。这种行为通常称为“至少一次”语义。
当目标kinesis流由于重编而处于更新状态时，如何确定要重播多少消息？
在这种情况下，如何限制重播的消息数？
1条答案
按热度按时间w8ntj3qf1#
如果出现故障，将从最后一个成功的检查点重放数据。我可以想象，这是类似的重新硬化。
为了保持低的重复数，您需要频繁的检查点（可以低至100ms）。如果您使用大（自定义）状态（如flinkui中的检查点大小所示），那么应该使用增量检查点。