Kafka Streams可以从s3读取数据并将其发送到其他目的地(如mysql或olap)吗?

gpnt7bae  于 2023-11-16  发布在  Apache
关注(0)|答案(1)|浏览(83)

关于Kafka流的文章很少,它从s3读取数据并将其发送到其他目的地,如olap或oltp。
我看不到它们的示例代码,所以我说Kafka流不能读取s3然后将它们发送到数据库系统是正确的吗?

qxgroojn

qxgroojn1#

Kafka流必须从Kafka主题中读取。
有一个S3 Source Kafka Connect * 插件 * 可以将数据导入Kafka主题,然后您可以 * 使用Kafka Streams来使用该主题
类似地,您应该使用Kafka Connect Sink插件来写入数据库。Kafka Streams并不是设计用于这种方式的。

相关问题