producer-perf-test.sh networkexception服务器在收到响应之前已断开连接

cbwuti44  于 2021-06-06  发布在  Kafka
关注(0)|答案(0)|浏览(244)

我试图在我们的Kafka环境中执行基准测试。我使用了很少的配置,例如request.timeout.ms和max.block.ms,但无法避免错误:

org.apache.kafka.common.errors.TimeoutException: The request timed out.
org.apache.kafka.common.errors.NetworkException: The server disconnected before a response was received.
org.apache.kafka.common.errors.TimeoutException: Expiring 148 record(s) for benchmark-6-3r-2isr-none-0: 182806 ms has passed since last append

生成性能测试命令:

nohup sh ~/kafka/kafka_2.11-1.0.0/bin/kafka-producer-perf-test.sh --topic benchmark-6p-3r-2isr-none --num-records 10000000 --record-size 100 --throughput 1000 --print-metrics --producer-props acks=all bootstrap.servers=node1:9092,node2:9092,node3:9092 request.timeout.ms=180000 max.block.ms=180000 buffer.memory=100000000 > ~/kafka/load_test/results/6p-3r-10M-100B-t-1-ackall-rto3m-block2m-bm100m-2 2>&1

集群:3个节点,主题:6个分区,rf=3和minisr=2我正在使用tsdb和grafana监视kafka度量。我知道磁盘io性能不好[磁盘等待(1.5秒),io队列大小和磁盘利用率指标都很高(60-75%)],但我在kafka日志中没有发现任何问题可以将磁盘io速度慢与上述性能错误联系起来。
但我得到的错误,甚至1000条信息/秒。
需要建议来理解问题并修复上述错误吗?
我还有一个非常令人不安的观察。
如果在不同的主机上使用相同的配置启动2 kafka-producer-perf-test.sh,错误就会消失。如果我取消1 kafka-producer-perf-test.sh,那么过了一段时间,上面的错误就会重新出现。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题