kafka:在启用更改跟踪的情况下从sql server读取

hmmo2u0o  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(472)

我一直在尝试将数据从sql server(启用了更改跟踪)加载到kafka中,以便一个或多个系统(报表、其他数据库等)可以使用它
我已经成功地为sql server配置了kafka connect插件(confluentinc/kafka connect cdc)-mssql:1.0.0-preview)我还在Kafka的机器上启动了它。
我一直在寻找有助于回答以下问题的文档(找不到任何文档)
如何将Kafka主题与这种联系联系起来?
根据我在debezium论坛上找到的信息,将为每个表创建一个主题-->它是否与kafka sql server连接器的工作方式相同?
我已经在分布式模式下配置了连接,我们有kafka在多个服务器上运行,我们需要在每个服务器上运行连接吗?
是否有人将debezium与sql server更改跟踪和kafka结合使用?debezium的网站在“alpha阶段”中描述了这种联系,我想知道是否有任何活跃的用户。
p、 s:我也愿意使用其他选项将实时数据从sql server加载到kafka(带有时间戳/数字字段的jdbc连接是我的备份选项)。备份选项,因为在我的源数据库中有一些表不包含此类字段[更改不是也不能用数字/时间戳字段跟踪])。

py49o6xq

py49o6xq1#

1&2——如何将Kafka主题与这种联系联系起来
我相信这是每张table的,但你可以用 RegexRouter connect transform将多个表合并到一个主题中。
3--在分布式模式下配置连接,我们有kafka在多个服务器上运行,我们需要在每个服务器上运行连接吗
kafka connect应该在kafka服务器之外运行。它是独立可扩展的。
4—使用sql server更改跟踪的debezium
我没有。向debezium邮件列表或处理这些特性的jira票证询问可能是一个更好的问题。

相关问题