我试图使Kafka消费者同步消费Kafka的信息。
我遇到的实际问题是消息队列被存储在Storm Spout中。
我想做的是让Storm等待Kafka的确认回复,然后才让Storm使用下一条消息。
我正在使用Storm KafkaSpout:
/**
* Creates a configured kafka spout.
* @param topicName Topic where the kafka spout subscribes
* @return An instance of configured KafkaSpout
*/
public KafkaSpout getkafkaSpout(String topicName){
return new KafkaSpout(this.getSpoutConfig(topicName));
}
/**
* Create the necessary configuration to create a new kafka spout.
* @param topicName Topic where the kafka spout subscribes
* @return Spout configuration
*/
public SpoutConfig getSpoutConfig(String topicName) {
SpoutConfig spoutConfig=new SpoutConfig(this.getZkHosts(),topicName, "", String.join("-",topicName,RandomStringUtils.randomAlphanumeric(20)));
spoutConfig.scheme = new SchemeAsMultiScheme(new StringScheme());
spoutConfig.startOffsetTime=kafka.api.OffsetRequest.LatestTime();
return spoutConfig;
}
builder.setSpout("kafkaPackedData", stormConfig.getkafkaSpout("topic_kafka"), 2);
我已经更新到Storm 2.0.0,我使用storm-kafka-client。但是如果我将Storm队列配置为50:setMaxSpoutPending(50);
当我向Kafka发送许多数据时,它会停止使用。
我已经为Kafka consumer配置了下一个配置:
KafkaSpoutConfig spoutConf = KafkaSpoutConfig.builder("stream1:9092", "kafkaToStormAlarms")
.setProp(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, "50000") //Set session timeout
.setProp(ConsumerConfig.REQUEST_TIMEOUT_MS_CONFIG, "60000") //Set request timeout
.setOffsetCommitPeriodMs(10000) //Set automatic confirmation time (in ms)
.setFirstPollOffsetStrategy(LATEST) //Set to pull the latest messages
.setRetry(kafkaSpoutRetryService)
.build();
当Storm使用了50条与MaxSpoutPending配置相同的消息时,它将停止使用更多的消息。也许下一个bolt没有正确发送ACK?我在KafkaConsumerSpout之后使用下一个bolt:
public class testBolt extends BaseBasicBolt {
@Override
public void declareOutputFields(OutputFieldsDeclarer declarer) {
declarer.declare(new Fields("MQTTmessage"));
}
@Override
public void execute(Tuple tuple, BasicOutputCollector boc) {
System.out.println("\n\n\n\nLLEGA BIENN AL SPLIT TEXT BOLT\n\n");
System.out.println("TUPLE "+tuple);
String text = tuple.getString(4);
List<String> lines = Arrays.asList(text.split("\\r?\\n"));
lines.forEach(line -> {
boc.emit(new Values(line));
});
}
}
1条答案
按热度按时间xtfmy6hx1#
关于喷口节流:是的,您可以通过将拓扑配置中的
topology.max.spout.pending
选项设置为1
来实现这一点。如果您希望获得良好的吞吐量,我并不真正建议您这样做,但我假设您已经仔细考虑了为什么需要拓扑以这种方式工作。关于新喷嘴:Kafka运行的服务器是
stream1:9092
吗?您要发送的主题是kafkaToStormAlarms
吗?如果不是,那可能是您的问题。否则,检查storm/logs/workers-artifacts
中的worker日志,它可能会告诉您为什么spout不发送任何内容。最后是的,你绝对应该使用
storm-kafka-client
而不是storm-kafka
,否则你将无法升级到Storm 2.0.0,或者最新的Kafka版本。