大数据技术之 Kafka (第 4 章 Kafka API ) Producer API

x33g5p2x  于2021-12-19 转载在 其他  
字(0.6k)|赞(0)|评价(0)|浏览(382)

4.1.1 消息发送流程 

Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main 线程和 Sender 线程,以及一个线程共享变量——RecordAccumulator。main 线程将消息发送给 RecordAccumulator,Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka broker。 

KafkaProducer 发送消息流程

相关参数: 
batch.size:只有数据积累到 batch.size 之后,sender 才会发送数据。 
linger.ms:如果数据迟迟未达到 batch.size,sender 等待 linger.time 之后就会发送数据。 

4.1.2 异步发送 API 

1)导入依赖 

<dependency> 
    <groupId>org.apache.kafka</groupId> 
    <artifactId>kafka-clients</artifactId> 
    <version>2.4.1</version> 
</dependency>

2)编写代码 
需要用到的类: 
KafkaProducer:需要创建一个生产者对象,用来发送数据 
ProducerConfig:获取所需的一系列配置参数 
ProducerRecord:每条数据都要封装成一个 ProducerRecord 对象 

相关文章