我正在尝试将数据从kafka导出到oracle db。我搜索了相关的问题和网站,但无法理解我们需要一个平台(合流等…)不管怎样。我读过下面的链接,但还不够清楚。https://docs.confluent.io/3.2.2/connect/connect-jdbc/docs/sink_connector.html那么,在没有第三方平台的情况下,我们到底需要什么来导出数据呢?提前谢谢。
ujv3wf0j1#
不清楚你说的“第三方”是什么意思您链接到的是kafka connect,它是apache2.0许可的开源软件。kafka connect是一个插件生态系统,您可以单独安装连接器,由任何人编写,或者编写自己的连接器,就像任何其他java依赖(即第三方)一样jdbc连接器恰好由confluent维护。您可以将confluent hub cli配置为安装在任何kafka connect发行版中(或使用confluent中的kafka connect docker映像)或者,您可以使用apachespark、flink、nifi和许多其他kafka消费者库来读取数据,然后对每个记录批启动一个oracle事务或者您也可以探索非jvm的kafka库,并使用您更熟悉的语言来执行oracle操作
1条答案
按热度按时间ujv3wf0j1#
不清楚你说的“第三方”是什么意思
您链接到的是kafka connect,它是apache2.0许可的开源软件。
kafka connect是一个插件生态系统,您可以单独安装连接器,由任何人编写,或者编写自己的连接器,就像任何其他java依赖(即第三方)一样
jdbc连接器恰好由confluent维护。您可以将confluent hub cli配置为安装在任何kafka connect发行版中(或使用confluent中的kafka connect docker映像)
或者,您可以使用apachespark、flink、nifi和许多其他kafka消费者库来读取数据,然后对每个记录批启动一个oracle事务
或者您也可以探索非jvm的kafka库,并使用您更熟悉的语言来执行oracle操作