什么是正常的Kafka偏移滞后?为什么最小值是1(不是0)?

ego6inou  于 2021-06-08  发布在  Kafka
关注(0)|答案(2)|浏览(259)

我有3个Kafka经纪人的配置:

/opt/kafka/bin/kafka-topics.sh --describe --topic logs --zookeeper=localhost:2181
Topic:logs  PartitionCount:8    ReplicationFactor:3 Configs:
    Topic: logs Partition: 0    Leader: 1   Replicas: 1,2,0 Isr: 0,1,2
    Topic: logs Partition: 1    Leader: 2   Replicas: 2,0,1 Isr: 0,1,2
    Topic: logs Partition: 2    Leader: 0   Replicas: 0,1,2 Isr: 0,1,2
    Topic: logs Partition: 3    Leader: 1   Replicas: 1,0,2 Isr: 0,1,2
    Topic: logs Partition: 4    Leader: 2   Replicas: 2,1,0 Isr: 0,1,2
    Topic: logs Partition: 5    Leader: 0   Replicas: 0,2,1 Isr: 0,1,2
    Topic: logs Partition: 6    Leader: 1   Replicas: 1,2,0 Isr: 0,1,2
    Topic: logs Partition: 7    Leader: 2   Replicas: 2,0,1 Isr: 0,1,2

我注意到所有时间的最小偏移滞后值都是1。

/opt/kafka/bin/kafka-consumer-offset-checker.sh --group logreaders --topic logs --zookeeper=localhost:2181
Group           Topic                          Pid Offset          logSize         Lag             Owner
logreaders      logs                           0   255851          255852          1               none
logreaders      logs                           1   254514          254515          1               none
logreaders      logs                           2   252885          252888          3               none
logreaders      logs                           3   255904          255905          1               none
logreaders      logs                           4   253897          253898          1               none
logreaders      logs                           5   253517          253519          2               none
logreaders      logs                           6   255098          255099          1               none
logreaders      logs                           7   255412          255414          2               none

我期望最小偏移滞后应该是-0,所以我试图弄清楚这是正常的。看起来我并没有丢失信息,但这让我很困惑。
Kafka版本是0.8.2.1

eblbsuwk

eblbsuwk1#

这个问题与您的Kafka性能调整有关。很明显,你的消费者无法赶上生产商。
这可以通过调整使用者配置来实现。apachekafka对此提供了非常好的文档,请参考相同的文档并调整您的用户。
请让我知道,如果你有任何疑问在消费者调谐。

9o685dep

9o685dep2#

这就是python kafka的客户问题。
我在github上创建了一个问题

相关问题