我有一个Kafka消费者已经运行了几天完美。昨天经纪人破产了。从那时起，消费者显示100%的cpu使用率。当经纪人上升时，使用率大大下降（低于10%）。我很好奇，为什么当经纪人下跌时，使用率是100%（或接近100%）？我在日志里什么都没看到。kafka代理/服务器：0.8.2.1Kafka高级api:0.8.2.0
vcirk6k61#
我把Kafka升级为：
<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>0.11.0.1</version> </dependency>
到
<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</artifactId> <version>2.0.1</version> </dependency>
vohkndzv2#
Kafka消费者和经纪人的cpu利用率增加通常是因为消费者的投票请求频率非常高。这主要是因为消费者的配置效率低下。检查两个属性：fetch.min.bytes->完成轮询请求的最小字节数fetch.max.wait.ms->max wait at broker以完成轮询请求如果topic中的数据不是频繁生成的，则保持fetch.max.wait.ms的较高值和fetch.min.bytes的非零值，以避免频繁地对代理进行轮询请求
2条答案
按热度按时间vcirk6k61#
我把Kafka升级为：
到
vohkndzv2#
Kafka消费者和经纪人的cpu利用率增加通常是因为消费者的投票请求频率非常高。这主要是因为消费者的配置效率低下。
检查两个属性：
fetch.min.bytes->完成轮询请求的最小字节数
fetch.max.wait.ms->max wait at broker以完成轮询请求
如果topic中的数据不是频繁生成的，则保持fetch.max.wait.ms的较高值和fetch.min.bytes的非零值，以避免频繁地对代理进行轮询请求