我可能想错了，但我们希望在Kafka和S3之间建立一个连接。我们使用Kafka作为微服务事件源系统的 Backbone.js ，在某些情况下，可能偶尔需要从头开始重放事件（例如，构建新服务，重建损坏的数据库视图）。
我们希望在使用S3 Sink Connector七天后将事件转移到S3（0.023美元/GB/月或更少），并最终将其不断地沿S3存储级别链向下移动，而不是无限期地将事件存储在AWS EBS存储中（0.10美元/GB/月）。
但是，我不明白，如果我需要从头重放一个主题来恢复一个服务，Kafka将如何根据需要从S3获取该数据？我知道我可以使用源连接器，但它似乎只用于设置一个新主题。而不是从现有主题中拉回数据。
1条答案
按热度按时间6vl6ewon1#
Confluent S3源连接器不会规定数据写回的位置。但您可能希望参考有关
topics.dir和topic关系的存储配置属性。或者，编写一些代码来读取S3事件，并将它们发送到Kafka生产者客户端。
请记住，对于您的恢复付款计算，从S3的不同层读取成本越来越多。
您可能还想了解Kafka原生分层存储支持的发展情况（或者类似地，将Apache Pulsar作为一种替代方案）