我的kafka集群有下一个配置。
kafka版本集群（v1.1.0），带有3个代理
一个主题（“fara”），包含5个分区和3个副本
在每个分区中有10.000.000条消息。总计50000.000
我正在使用kafka-consumer-perf.test，下面的发行版使用consumerperformance。
我的第一个工作配置是下一个：
1个使用者示例（按示例列出50000.000条记录）
5个获取线程（1个分区）
消费者组=测试组1
我运行的命令：
$kafka\u home/bin/kafka-consumer-perf-test.sh --新使用者--代理列表$broker\u列表--消息50000000 --消息大小100 --主题fara --consumer.config$kafka\u home/config/consumer.ssl.properties --num fetch threads 5 --显示详细统计信息--报告间隔$report\u interval --组testgroup1
我定期运行下面的命令
./kafka-run-class.sh kafka.admin.consumergroupcommand--引导服务器192.168.10.10:9093--新使用者--描述--组testgroup1--命令配置../config/consumer.properties
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
fara 4 1056241 10000000 8943759 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 3 1075308 10000000 8924692 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 1 1056241 10000000 8943759 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 2 2129355 10000000 7870645 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 0 1075308 10000000 8924692 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 4 2302837 10000000 7697163 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 3 2377136 10000000 7622864 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 1 2302837 10000000 7697163 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 2 4641785 10000000 5358215 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 0 2377197 10000000 7622803 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 4 5576341 10000000 4423659 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 3 5738479 10000000 4261521 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 1 5576341 10000000 4423659 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 2 10000000 10000000 0 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 0 5739456 10000000 4260544 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 4 8735653 10000000 1264347 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 3 8825872 10000000 1174128 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 1 8735653 10000000 1264347 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 2 10000000 10000000 0 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 0 8827764 10000000 1172236 consumer-1-f9fd5d69-6ba1-4da1-9eb9-29a64a83d1fa /192.168.10.145 consumer-1
fara 4 10000000 10000000 0 - - -
fara 3 10000000 10000000 0 - - -
fara 1 10000000 10000000 0 - - -
fara 2 10000000 10000000 0 - - -
fara 0 10000000 10000000 0 - - -所有消息都已被消耗。
第二个失败的配置是下一个：
5个使用者示例（按示例列出10.000.000条记录）
1个使用者获取线程（仅使用一个分区）
所有示例的consumer group=testgroup2
我运行的命令：
$kafka\u home/bin/kafka-consumer-perf-test.sh --新使用者--代理列表$broker\u列表--消息10000000 --消息大小100 --主题fara --consumer.config$kafka\u home/config/consumer.ssl.properties --num fetch threads 1 --显示详细统计信息--报告间隔$report\u interval --组testgroup2
我定期运行下面的命令
./kafka-run-class.sh kafka.admin.consumergroupcommand--引导服务器192.168.10.10:9093--新使用者--描述--组testgroup2--命令配置../config/consumer.properties
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
fara 1 4129909 10000000 5870091 consumer-1-2e20de15-9396-4ebb-a77d-c16ef7c0cb03 /192.168.10.145 consumer-1
fara 4 4520065 10000000 5479935 consumer-1-ed2e3f63-23e9-489a-a9bc-422e7830fc9c /192.168.10.139 consumer-1
fara 2 4310725 10000000 5689275 consumer-1-5dbc6ec0-7bc6-4d71-8b17-1b5af261479d /192.168.10.134 consumer-1
fara 3 4038958 10000000 5961042 consumer-1-646b2ebd-3a36-4e09-a7d4-658225492a03 /192.168.10.145 consumer-1
fara 0 4524641 10000000 5475359 consumer-1-2a7186c9-c4a0-41d6-ba5e-809964b7b709 /192.168.10.134 consumer-1
fara 1 6071173 10000000 3928827 consumer-1-2e20de15-9396-4ebb-a77d-c16ef7c0cb03 /192.168.10.145 consumer-1
fara 4 6689713 10000000 3310287 consumer-1-ed2e3f63-23e9-489a-a9bc-422e7830fc9c /192.168.10.139 consumer-1
fara 2 6437488 10000000 3562512 consumer-1-5dbc6ec0-7bc6-4d71-8b17-1b5af261479d /192.168.10.134 consumer-1
fara 3 6194150 10000000 3805850 consumer-1-646b2ebd-3a36-4e09-a7d4-658225492a03 /192.168.10.145 consumer-1
fara 0 6612859 10000000 3387141 consumer-1-2a7186c9-c4a0-41d6-ba5e-809964b7b709 /192.168.10.134 consumer-1
fara 1 7489057 10000000 2510943 consumer-1-2e20de15-9396-4ebb-a77d-c16ef7c0cb03 /192.168.10.145 consumer-1
fara 4 8212273 10000000 1787727 consumer-1-ed2e3f63-23e9-489a-a9bc-422e7830fc9c /192.168.10.139 consumer-1
fara 2 7883485 10000000 2116515 consumer-1-5dbc6ec0-7bc6-4d71-8b17-1b5af261479d /192.168.10.134 consumer-1
fara 3 7457277 10000000 2542723 consumer-1-646b2ebd-3a36-4e09-a7d4-658225492a03 /192.168.10.145 consumer-1
fara 0 8039217 10000000 1960783 consumer-1-2a7186c9-c4a0-41d6-ba5e-809964b7b709 /192.168.10.134 consumer-1
fara 2 8535701 10000000 1464299 consumer-1-5dbc6ec0-7bc6-4d71-8b17-1b5af261479d /192.168.10.134 consumer-1
fara 3 8113576 10000000 1886424 consumer-1-5dbc6ec0-7bc6-4d71-8b17-1b5af261479d /192.168.10.134 consumer-1
fara 0 8580780 10000000 1419220 consumer-1-2a7186c9-c4a0-41d6-ba5e-809964b7b709 /192.168.10.134 consumer-1
fara 1 7926793 10000000 2073207 consumer-1-2a7186c9-c4a0-41d6-ba5e-809964b7b709 /192.168.10.134 consumer-1
fara 4 8897425 10000000 1102575 consumer-1-646b2ebd-3a36-4e09-a7d4-658225492a03 /192.168.10.145 consumer-1
fara 4 9884954 10000000 115046 consumer-1-646b2ebd-3a36-4e09-a7d4-658225492a03 /192.168.10.145 consumer-1
fara 3 8693017 10000000 1306983 consumer-1-646b2ebd-3a36-4e09-a7d4-658225492a03 /192.168.10.145 consumer-1
fara 1 8564365 10000000 1435635 consumer-1-646b2ebd-3a36-4e09-a7d4-658225492a03 /192.168.10.145 consumer-1
fara 2 9197795 10000000 802205 consumer-1-646b2ebd-3a36-4e09-a7d4-658225492a03 /192.168.10.145 consumer-1
fara 0 9217803 10000000 782197 consumer-1-646b2ebd-3a36-4e09-a7d4-658225492a03 /192.168.10.145 consumer-1
fara 4 9942050 10000000 57950 - - -
fara 3 8749827 10000000 1250173 - - -
fara 1 8621461 10000000 1378539 - - -
fara 2 9311260 10000000 688740 - - -
fara 0 9274899 10000000 725101 - - -我不明白为什么所有的唱片都没有被消费掉。需要帮忙吗？
1条答案
按热度按时间hgtggwj01#
在这两种情况下，我已经修复了在1.1.0版本中重新实现consumerperformance.scala类的问题。
重复记录当我同时运行consumerperformance类的不同进程时，我有时会因为这一行而看到重复的记录（至少这是我的印象）。
https://github.com/apache/kafka/blob/1.1.0/core/src/main/scala/kafka/tools/consumerperformance.scala#l161
使用者突然停止工作，超时被硬处理为1000，因此，如果池中收到的消息数超过1秒，使用者将停止使用。
https://github.com/apache/kafka/blob/1.1.0/core/src/main/scala/kafka/tools/consumerperformance.scala#l169