从AWS MKS集群镜像到Apache Kafka的Kafka

rsaldnfx  于 2023-10-15  发布在  Apache
关注(0)|答案(1)|浏览(122)

我对将AWS MKS集群(源)中的主题镜像到另一个Apache Kafka集群(目标)的架构感到困惑。
源集群还使用AWS Glue Schema注册表,因此我需要在目标集群中将Avro主题解密为JSON主题。
至于操作,我使用的是confluentic cp-kafka-connect image,我已经重建了它,包括AWS jar(aws-msk-iam-auth-1.1.9-all.jar,schema-registry-serde-1.1.16.jar,schema-registry-kafkaconnect-converter-1.1.16.jar)。这些jar被添加到classpath /usr/share/java/kafka中,可以从Kafka二进制文件中使用。
我的主要问题是哪个二进制文件适合操作,以及应该使用哪些连接器(mm 2,source,sink),因此在目标集群上也会进行并行化。

  • 连接镜像制造器(2.0)
  • kafka-mirror-maker(legacy)
  • 连接分布
  • 独立连接

P.S.一个配置示例会很棒。

beq87vna

beq87vna1#

镜像时应始终使用ByteArrayConverter,这样就不会出现格式化问题,并且字节在传输过程中不会被修改
Maker2是内置于Kafka中的。你不需要特定的Confluent库或Docker镜像,但你提到的那个会自动运行连接分布式
相关文档(反向)https://docs.aws.amazon.com/prescriptive-guidance/latest/patterns/migrate-an-on-premises-apache-kafka-cluster-to-amazon-msk-by-using-mirrormaker.html

相关问题