通过遵循基本的kafka producer文档,我用kafka producer实现了一个日志追加器。我的配置如下所示,我使用kafkaproducer并使用send()将每个日志发送给kafka。在我的情况下,我不能使用kafkaappender,因为我们不支持slf4j或log4j。
如何批处理这些日志以及如何优化以下配置以处理大量日志。
Properties props = new Properties();
props.put("bootstrap.servers", "ip:9092");
props.put("acks", "all");
props.put("retries", 0);
props.put("batch.size", 16384);
props.put("linger.ms", 1);
props.put("buffer.memory", 33554432);
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
1条答案
按热度按时间huwehgph1#
增加
linger.ms
配置。此配置意味着“在此超时后发送消息,即使批尚未满”。在您的情况下,生产者每毫秒刷新一次数据,这就是为什么您没有注意到任何“批处理”的原因。