apache flink 1.3.2与kafka 1.1.0的连接问题

lhcgjxsq  于 2021-06-21  发布在  Flink
关注(0)|答案(1)|浏览(762)

我使用的是ApacheFlink1.3.2集群。我们正在使用kafka消息,自从将代理升级到1.1.0(从0.10.2)以来,我们经常在日志中发现此错误:

ERROR o.a.flink.streaming.connectors.kafka.FlinkKafkaConsumerBase  - Async Kafka commit failed.
org.apache.kafka.clients.consumer.RetriableCommitFailedException: Offset commit failed with a retriable exception. You should retry committing offsets.
Caused by: org.apache.kafka.common.errors.DisconnectException: null

因此,有时我们在处理过程中会遇到遗漏事件。我们在工作中使用flinkkafkaconsumer010。
启用检查点(间隔10秒,超时1分钟,检查点之间的最小暂停5秒,最大并发检查点1分钟)。e2e的持续时间平均不到1秒,甚至我可以说不到半秒。)Kafka0.10.2使用了相同的设置,我们没有这个例外。
更新:我们已经重新安装了Kafka,现在我们收到一条警告消息,但仍然没有读取任何事件

WARN  o.a.flink.streaming.connectors.kafka.internal.Kafka09Fetcher  - Committing offsets to Kafka takes longer than the checkpoint interval. Skipping commit of previous offsets because newer complete checkpoint offsets are available. This does not compromise Flink's checkpoint integrity.
jogvjijk

jogvjijk1#

原来这是由aws中的一些连接问题引起的。该框架与kafka1.1配合良好

相关问题