我在两组Kafka之间设置了一个镜子制造器。
Kafka版本: kafka_2.11-2.1.0
我的 server.properties
有 auto.create.topics.enable=true
.
我正在目标群集上运行镜像生成器。
但是,当源集群添加一个主题时,不会自动创建新主题。我必须手动创建它们。即使在手动创建之后,源集群中的记录也不会填充到这个新主题中,除非我重新启动mirror maker。一旦重新启动,它会在源上插入数据后立即开始复制。
镜像生成器命令
./kafka-mirror-maker.sh --consumer.config consumer.properties --producer.config producer.properties --whitelist '.*' --num.streams 2
消费者财产
bootstrap.servers=!source_host_name_with_port!
group.id=consumer_replicator_group
client.id=mirror_maker_consumer
exclude.internal.topics=true
生产商属性
bootstrap.servers=!destination_host_name_with_port!
acks=1
batch.size=100
client.id=mirror_maker_producer
有什么想法吗。
1条答案
按热度按时间bqucvtff1#
Kafka网站上记录了先在目的地创建主题。如果没有,则会得到目标集群上的默认分区和复制计数(通常与源主题不匹配)