如何设计既是源又是汇的Kafka连接

9jyewag0  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(271)

我正在开发一个Kafka连接器,它订阅一个主题,转换消息,将转换后的消息推回到另一个主题。
到目前为止,我把它作为一个 SinkTask 类,每个任务执行etl,示例化publisher对象,将消息写回另一个主题。
有没有更干净的方法来实施?我相信这是一个常见的用例,连接器既是源也是汇。

pdkcd3nj

pdkcd3nj1#

这不是kafka connect的基本用例。如果您已经使用了kafka0.10.x,那么新的kafkastreamsapi就是为这类事情创建的。

相关问题