Kafka 如何在为Snowflake重新创建AWS MSK接收器连接器时保持主题偏移位置

jei2mxaa  于 12个月前  发布在  Apache
关注(0)|答案(1)|浏览(173)

目前,我们有一个AWS MSK集群和AWS MSK sink connector for Snowflake,我们想向现有的AWS MSK Connector添加额外的主题。我们担心重新创建MSK connect时的主题偏移量。看起来AWS MSK没有动态更新配置的功能(在路线图中),并且只有删除/重新创建选项可用。但此选项将重置connector中的偏移量位置。
有人知道如何使用AWS MSK Connect保留偏移量吗?
第二种选择,如果我们将在docker中部署Kafka connector,我们可以在内部存储offset吗?这样在更新配置并重新启动connector后,它将从它离开的offset位置开始?
谢谢

drnojrws

drnojrws1#

接收器连接器偏移量使用Kafka消费者组协议进行管理。每个接收器连接器都会创建一个名为connect-{CONNECTOR_NAME}的组。只要消费者组存在,您使用相同的CONNECTOR_NAME值创建的任何后续接收器连接器都将从上次提交的偏移量继续。
简单地说:只要保留将数据接收到Snowflake的连接器的名称,它就会自动捕获偏移量,您无需担心。有关偏移量的更多信息,请访问:https://docs.aws.amazon.com/msk/latest/developerguide/msk-connect-workers.html

相关问题