我对将AWS MKS集群(源)中的主题镜像到另一个Apache Kafka集群(目标)的架构感到困惑。
源集群还使用AWS Glue Schema注册表,因此我需要在目标集群中将Avro主题解密为JSON主题。
至于操作,我使用的是confluentic cp-kafka-connect image,我已经重建了它,包括AWS jar(aws-msk-iam-auth-1.1.9-all.jar,schema-registry-serde-1.1.16.jar,schema-registry-kafkaconnect-converter-1.1.16.jar)。这些jar被添加到classpath /usr/share/java/kafka
中,可以从Kafka二进制文件中使用。
我的主要问题是哪个二进制文件适合操作,以及应该使用哪些连接器(mm 2,source,sink),因此在目标集群上也会进行并行化。
- 连接镜像制造器(2.0)
- kafka-mirror-maker(legacy)
- 连接分布
- 独立连接
P.S.一个配置示例会很棒。
1条答案
按热度按时间beq87vna1#
镜像时应始终使用ByteArrayConverter,这样就不会出现格式化问题,并且字节在传输过程中不会被修改
Maker2是内置于Kafka中的。你不需要特定的Confluent库或Docker镜像,但你提到的那个会自动运行连接分布式
相关文档(反向)https://docs.aws.amazon.com/prescriptive-guidance/latest/patterns/migrate-an-on-premises-apache-kafka-cluster-to-amazon-msk-by-using-mirrormaker.html