我有一个用例,其中我在Kafka主题中接收输入数据。这些数据必须被转换和丰富,并发送到PostgreSQL表。我的应用程序使用Quarkus Kafka流来消费来自输入主题的数据并处理它们。然而,我没有找到任何连接到任何数据库的接收器/连接器(在我的例子中是PostgreSQL)。如果我没有错的话,我们只能将转换后的结果从kafkaStream(KStream)发送到另一个Kafka主题或KTable。然后使用另一个服务(如kafkaConnect或Flink)读取输出主题并将数据写入目标postgres表。
有没有一种方法可以直接将数据从Kstream持久化到PostgreSQL表中?由于它是一个流应用程序,我不想为每个消息都访问DB,而是希望将数据批量插入到表中。
非常感谢您的任何提示提前。
1条答案
按热度按时间kiayqfof1#
Kafka Streams没有任何内置的方式将数据推送到PostgreSQL中。正如您所指出的,Kafka Streams旨在 * 使用Kafka* 中的输入和输出进行数据处理。
我建议继续使用Kafka Streams来处理数据并将其转换为正确的格式。然后,您可以使用Kafka Connect将数据接收到Postgres。有许多开源的Kafka连接器作为PG接收器工作。