我使用的是ApacheFlink1.3.2集群。我们正在使用kafka消息,自从将代理升级到1.1.0(从0.10.2)以来,我们经常在日志中发现此错误:
ERROR o.a.flink.streaming.connectors.kafka.FlinkKafkaConsumerBase - Async Kafka commit failed.
org.apache.kafka.clients.consumer.RetriableCommitFailedException: Offset commit failed with a retriable exception. You should retry committing offsets.
Caused by: org.apache.kafka.common.errors.DisconnectException: null
因此,有时我们在处理过程中会遇到遗漏事件。我们在工作中使用flinkkafkaconsumer010。
启用检查点(间隔10秒,超时1分钟,检查点之间的最小暂停5秒,最大并发检查点1分钟)。e2e的持续时间平均不到1秒,甚至我可以说不到半秒。)Kafka0.10.2使用了相同的设置,我们没有这个例外。
更新:我们已经重新安装了Kafka,现在我们收到一条警告消息,但仍然没有读取任何事件
WARN o.a.flink.streaming.connectors.kafka.internal.Kafka09Fetcher - Committing offsets to Kafka takes longer than the checkpoint interval. Skipping commit of previous offsets because newer complete checkpoint offsets are available. This does not compromise Flink's checkpoint integrity.
1条答案
按热度按时间jogvjijk1#
原来这是由aws中的一些连接问题引起的。该框架与kafka1.1配合良好