如何使用开源kafka connect从aurora连接msk

vom3gejh  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(571)

我必须把我的疾控中心的变化,从极光mysql数据库到mskKafka的主题。我认为在aws中没有像dms这样的内置机制,它会将所有的cdc从aurora下沉到msk主题,在他们的文档中他们没有提到任何支持。
所以我只能使用开源软件了。利用这个,我有几个问题,请帮助我这个。
我做了一些搜索,到处都能看到kafka连接jdbc,所以首先这是一个开源的免费许可证?
我也见过debezium one,它将mysql连接到msk。
aurora记录将是文本,我需要将记录作为json放入msk,所以我必须使用模式注册表?schema registry是免费许可证还是开源的,还是来自msk kafka?
如果我必须从confluent或debezium使用kafka-connect,我需要ec2示例?只有Kafka或与Kafka汇合和debezium以及。
请建议一些免费许可和开源的东西。

pw9qyyiw

pw9qyyiw1#

1) 如果您想在zookeeper、apachekafka代理和基本kafka connect(如jdbc连接器插件)之外使用合流平台组件,请阅读https://www.confluent.io/confluent-community-license-faq/
2) debezium应该很管用。它在Apache2.0许可下;您可以将apachekafka与它一起使用,而不是合流平台的其余部分
3a)schema registry只能存储avro,不能存储json。所以你不需要它。3b)有关模式注册表许可,请参见1
4) 您将需要ec2或通过ecs/eks使用docker kafka connect/debezium容器。
还有其他的选项可以将cdc转换成kafka,我知道其中一些是开源的,甚至是商业支持的,但是在这里列出它们太广泛了。
关于内置的aws服务,您可以在aurora表上触发lambda函数来执行任何您想要的操作
https://aws.amazon.com/blogs/database/capturing-data-changes-in-amazon-aurora-using-aws-lambda/
lambda有可能/最终会有msk集成

相关问题