在producer中读取数据流并推送到kafka主题

bq9c1y66  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(554)

我想从服务器读取数据,监听producer中的数据流并发送到topic。数据源是客户端流式rpc,其中客户端写入一系列消息,并使用提供的流将它们发送到服务器。
我确实找到了一个例子,在这个例子中,producer连接到twitter客户端并读取数据。但是,我的目标是在服务器上读取数据,并在producer中侦听流并发送到kafka主题。
有没有类似的例子或者有人遇到过这种情况?
任何帮助都将不胜感激。

x6yk4ghg

x6yk4ghg1#

了解您正在使用的流式rpc机制的细节会有所帮助,但作为第一个调用端口,我将使用akka stream kafka(又名reactive kafka),因为它是专门为流式场景定制的:http://doc.akka.io/docs/akka-stream-kafka/current/producer.html
看看那里的例子。另外,alpakka是基于akka流的集成模式的一个倡议,但到目前为止,支持的连接器列表有些有限:http://developer.lightbend.com/docs/alpakka/current/

相关问题