我正在尝试使用ApacheFlink1.6.0来读取来自Kafka主题的一些消息，转换它们，最后将它们发送到另一个Kafka主题。我使用保存点保存应用程序的状态，以防取消和重新启动。问题是我在重新启动后读取消息时有重复。Kafka的版本是011。谢谢你的宝贵意见。
snvhrwxg1#
为了避免重复，有必要通过 Semantic.EXACTLY_ONCE 设置Kafka制作人时。有关使用kafka时数据丢失和重复的更多详细信息，请参阅文档。
Semantic.EXACTLY_ONCE
1条答案
按热度按时间snvhrwxg1#
为了避免重复，有必要通过
Semantic.EXACTLY_ONCE设置Kafka制作人时。有关使用kafka时数据丢失和重复的更多详细信息，请参阅文档。