我们使用带有kafka集成选项的azure事件中心。我们的服务是java、spring boot、spring cloud stream。它们部署在azure aks上。我们已经在azure事件中心的群集虚拟网络上启用了服务端点。
大多数时候,一切正常。
制作人有时不能向Kafka发表作品。我们会丢失消息,这些消息通常对整个数据一致性至关重要。
当这种情况发生时,我们会在日志中看到一些错误(为了可读性,我将它们分解为多行):
日志中的第一个示例:
2019-02-21 22:11:04.681 WARN 1 --- [ad | producer-2]
o.a.k.clients.producer.internals.Sender : [Producer clientId=producer-2]
Got error produce response with correlation id 6 on topic-partition _topic-name_-1,
retrying (4 attempts left). Error: NETWORK_EXCEPTION
第二个例子:
org.apache.kafka.common.errors.TimeoutException:
Expiring 1 record(s) for _topic-name_-1:
30096 ms has passed since batch creation plus linger time
消费者偶尔也会遇到连接问题:
2019-02-22 03:03:59.733 INFO 1 --- [container-0-C-1]
o.a.k.c.c.internals.AbstractCoordinator :
[Consumer clientId=consumer-6, groupId=my-super-service]
Group coordinator my-super-hub.servicebus.windows.net:9093
(id: 2147483647 rack: null) is unavailable or invalid, will attempt rediscovery
是否有人对azure event hub有类似的问题,或者对可能出现的问题有一些想法?
1条答案
按热度按时间jgwigjjp1#
您需要设置最大连接空闲时间。
connections.max.idle.ms
祝你好运。