合流kafka复制程序无法将所有主题从源群集复制到目标群集

8ljdwjyq  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(277)

我正在尝试将整个集群(即除系统主题外的所有主题)从源集群复制到目标集群。
我正在使用 Confluent 此任务的复制器。
根据文件,我可以提供 topic.regex 中的参数 consumer.properties 文件,以指示应复制的主题将与之匹配的正则表达式。
我试过几种方法,例如

topic.regex='.*'

topic.regex='([a-z]|[0-9])*.'

他们中似乎没有一个能够将整个主题集从src复制到dst。
我也尝试过作为env var传递 TOPIC_REGEX 或者只是 REGEX 以上数值。
我在日志里看到的是:

WARN The configuration 'topic.regex' was supplied but isn't a known config. (org.apache.kafka.clients.producer.ProducerConfig)
WARN The configuration 'topic.regex' was supplied but isn't a known config. (org.apache.kafka.clients.consumer.ConsumerConfig)
WARN The configuration 'topic.regex' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig)
...

topic.regex = null

关于我还能做什么有什么建议吗?
我在日志中也看到这个(错误?)消息,不知道是否相关

Join group failed with org.apache.kafka.common.errors.MemberIdRequiredException: The group member needs to have a valid member id before actually entering a consumer group (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题