我有3个Kafka经纪人的配置:
/opt/kafka/bin/kafka-topics.sh --describe --topic logs --zookeeper=localhost:2181
Topic:logs PartitionCount:8 ReplicationFactor:3 Configs:
Topic: logs Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 0,1,2
Topic: logs Partition: 1 Leader: 2 Replicas: 2,0,1 Isr: 0,1,2
Topic: logs Partition: 2 Leader: 0 Replicas: 0,1,2 Isr: 0,1,2
Topic: logs Partition: 3 Leader: 1 Replicas: 1,0,2 Isr: 0,1,2
Topic: logs Partition: 4 Leader: 2 Replicas: 2,1,0 Isr: 0,1,2
Topic: logs Partition: 5 Leader: 0 Replicas: 0,2,1 Isr: 0,1,2
Topic: logs Partition: 6 Leader: 1 Replicas: 1,2,0 Isr: 0,1,2
Topic: logs Partition: 7 Leader: 2 Replicas: 2,0,1 Isr: 0,1,2
我注意到所有时间的最小偏移滞后值都是1。
/opt/kafka/bin/kafka-consumer-offset-checker.sh --group logreaders --topic logs --zookeeper=localhost:2181
Group Topic Pid Offset logSize Lag Owner
logreaders logs 0 255851 255852 1 none
logreaders logs 1 254514 254515 1 none
logreaders logs 2 252885 252888 3 none
logreaders logs 3 255904 255905 1 none
logreaders logs 4 253897 253898 1 none
logreaders logs 5 253517 253519 2 none
logreaders logs 6 255098 255099 1 none
logreaders logs 7 255412 255414 2 none
我期望最小偏移滞后应该是-0,所以我试图弄清楚这是正常的。看起来我并没有丢失信息,但这让我很困惑。
Kafka版本是0.8.2.1
2条答案
按热度按时间eblbsuwk1#
这个问题与您的Kafka性能调整有关。很明显,你的消费者无法赶上生产商。
这可以通过调整使用者配置来实现。apachekafka对此提供了非常好的文档,请参考相同的文档并调整您的用户。
请让我知道,如果你有任何疑问在消费者调谐。
9o685dep2#
这就是python kafka的客户问题。
我在github上创建了一个问题