我正在编写一个kafka节点使用者,与python中的使用者相比,它非常慢,似乎没有接收到所有消息。我试着调整所有可能的参数,但都没用。
我使用这个api:https://github.com/sohu-co/kafka-node#consumer
这是我的密码:
//--------------------Create a consumer---------------------------------------------------------------------------
var kafka = require('kafka-node');
var Consumer = kafka.Consumer;
var client = new kafka.Client('192.168.2.2:2181');
var consumer = new Consumer(client,
[{ topic: 'clusterTest1', offset: 0}],
{
autoCommit: false,
fromOffset: 'latest',
outOfRangeOffset: 'latest',
fetchMinBytes: 1,
fetchMaxWaitMs: 50,
fetchMaxBytes: 52428800
}
);
offset = new kafka.Offset(client);
offset.fetch([
{ topic: 'clusterTest1', partition: 0, time: Date.now(), maxNum: 1 }
], function (err, data) {
// data
// { 't': { '0': [999] } }
});
consumer.on('message', function (message) {
console.log(message.value);
});
});
consumer.on('error', function (err) {
console.log('Error:',err);
});
consumer.on('offsetOutOfRange', function (topic) {
console.log('---------Offset out of range--------');
topic.maxNum = 2;
offset.fetch([topic], function (err, offsets) {
if (err) {
return console.error(err);
}
var max= Math.max.apply(null, offsets[topic.topic][topic.partition]);
consumer.setOffset(topic.topic, topic.partition, max);
});
});
但是,此python代码运行良好:
from kafka import KafkaConsumer
consumer = KafkaConsumer(bootstrap_servers=['192.168.2.2:9092','192.168.2.3:9092','192.168.2.4:9092','192.168.2.5:9092'])
print('Erfolgreich verbunden')
print(consumer.subscribe('clusterTest1'))
print(consumer.subscription())
# print(consumer.DEFAULT_CONFIG)
for msg in consumer:
print(msg.value)
谢谢你的帮助。
1条答案
按热度按时间qgelzfjb1#
解决了的。我不知道有多个分区。现在,我正在使用一个consumergroup,我可以接收所有消息。