我在工作中做一个项目。我很好奇是否有可能在没有cdc的情况下在数据库上实现Kafka(cdc不是一直打开的）在网上找不到任何讨论其他选项的资源。有没有可能把数据直接输入Kafka？例如，写c#代码读取数据库，然后插入Kafka作为连接器？
2fjabf4q1#
看一下这个，它解释了一切：-）https://www.confluent.io/kafka-summit-ny19/no-more-silos-integrating-db-into-apache-kafka热释光；你可以写一些代码，但问题是你真的应该写一些代码：）几乎肯定不会。您可以使用“适当的”cdc从事务日志中获取事件，也可以使用jdbc源连接器的“基于查询的cdc”来轮询新记录。以上讨论了每种方法的优缺点。
lvjbypge2#
你可以，但不应该。把cdc看作是另一个软件，当然，你也可以编写类似的软件。你需要处理很多棘手的事情：您应该从数据库日志中读取数据（mysql中的binlog，mongodb中的oplog…），因此您必须了解要导出的每个数据库供应商的日志格式。维护持久数据。假设您向kafka写入一个事务中包含的数据列表。当你在中间的步骤写的时候，会发生什么事情？您必须重试。否则，系统的另一部分从Kafka读取的数据将看到部分数据。。。背后有许多原因，这是唯一的理论解决办法。这是一个伟大的博客，来自一个在分布式数据库方面非常有经验的人，他讨论了如何将定制的cdc写入postgres或任何数据库供应商。
2条答案
按热度按时间2fjabf4q1#
看一下这个，它解释了一切：-）
https://www.confluent.io/kafka-summit-ny19/no-more-silos-integrating-db-into-apache-kafka
热释光；你可以写一些代码，但问题是你真的应该写一些代码：）几乎肯定不会。您可以使用“适当的”cdc从事务日志中获取事件，也可以使用jdbc源连接器的“基于查询的cdc”来轮询新记录。以上讨论了每种方法的优缺点。
lvjbypge2#
你可以，但不应该。把cdc看作是另一个软件，当然，你也可以编写类似的软件。你需要处理很多棘手的事情：
您应该从数据库日志中读取数据（mysql中的binlog，mongodb中的oplog…），因此您必须了解要导出的每个数据库供应商的日志格式。
维护持久数据。假设您向kafka写入一个事务中包含的数据列表。当你在中间的步骤写的时候，会发生什么事情？您必须重试。否则，系统的另一部分从Kafka读取的数据将看到部分数据。。。
背后有许多原因，这是唯一的理论解决办法。这是一个伟大的博客，来自一个在分布式数据库方面非常有经验的人，他讨论了如何将定制的cdc写入postgres或任何数据库供应商。