kafka节点:慢消费者

jmp7cifd  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(401)

我正在编写一个kafka节点使用者,与python中的使用者相比,它非常慢,似乎没有接收到所有消息。我试着调整所有可能的参数,但都没用。
我使用这个api:https://github.com/sohu-co/kafka-node#consumer
这是我的密码:

//--------------------Create a consumer---------------------------------------------------------------------------
var kafka = require('kafka-node');
var Consumer = kafka.Consumer;
var client = new kafka.Client('192.168.2.2:2181');
var consumer = new Consumer(client,
        [{ topic: 'clusterTest1', offset: 0}],
        {
            autoCommit: false,
            fromOffset: 'latest',
            outOfRangeOffset: 'latest',
            fetchMinBytes: 1,
            fetchMaxWaitMs: 50,
            fetchMaxBytes: 52428800

        }
    );

offset = new kafka.Offset(client);
    offset.fetch([
        { topic: 'clusterTest1', partition: 0, time: Date.now(), maxNum: 1 }
    ], function (err, data) {
        // data
        // { 't': { '0': [999] } }
    });

consumer.on('message', function (message) {
    console.log(message.value);
}); 

});

consumer.on('error', function (err) {
    console.log('Error:',err);
});

 consumer.on('offsetOutOfRange', function (topic) {
     console.log('---------Offset out of range--------');
  topic.maxNum = 2;
  offset.fetch([topic], function (err, offsets) {
    if (err) {
      return console.error(err);
    }
    var max= Math.max.apply(null, offsets[topic.topic][topic.partition]);
    consumer.setOffset(topic.topic, topic.partition, max);
  });
});

但是,此python代码运行良好:

from kafka import KafkaConsumer

consumer = KafkaConsumer(bootstrap_servers=['192.168.2.2:9092','192.168.2.3:9092','192.168.2.4:9092','192.168.2.5:9092'])
print('Erfolgreich verbunden')
print(consumer.subscribe('clusterTest1'))
print(consumer.subscription())

# print(consumer.DEFAULT_CONFIG)

for msg in consumer:
    print(msg.value)

谢谢你的帮助。

qgelzfjb

qgelzfjb1#

解决了的。我不知道有多个分区。现在,我正在使用一个consumergroup,我可以接收所有消息。

相关问题