我是Kafka的消费者（基于zookeeper），客户端版本0.8.1.1使用zookeeper作为偏移存储（从Kafka群集1.0.1使用）。现在，我想复制消息和偏移量（存储在zookeeper中）复制到一个新的Kafka群集2.8.0。但是我需要复制的偏移量存储在Kafka存储中，而不是存储在zookeeper存储中。我发现MirrorMaker2不会复制存储在zookeeper存储中的偏移量，但只有当它存储在Kafka存储中时才会复制。
其中一个选项是将消费者升级到0.8.2.x，并将dual.commit.enabled设置为True，以便MirrorMaker2可以将偏移从Kafka存储复制到Kafka存储，但出于某种原因，由于技术限制，我希望避免这种情况。
是否有任何配置或解决方案可以实现使用MirrorMaker2将偏移量从zookeeper存储迁移到Kafka存储的使用情形？
1条答案
按热度按时间41zrol4v1#
据我所知，MM2是在没有任何Zookeeper API的情况下编写的，因为在开发它的时候就已经有关于完全删除Zookeeper的讨论，所以没有理由为它添加函数。
事实上，我甚至不确定它是否能在低于0.10.2的Kafka集群上工作，因为它使用其他元数据来同步主题信息，使用AdminClient API和记录时间戳（可能还有0.11中添加的头）