融合平台—kafka分层存储的缺陷

o2rvlv0m  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(500)

关闭。这个问题需要细节或清晰。它目前不接受答案。
**想改进这个问题吗?**通过编辑这个帖子来添加细节并澄清问题。

三个月前关门了。
改进这个问题
我有一个关于kafka中分层存储功能的问题。我喜欢这个特性,因为在我的例子中,它意味着我可以使用kafka作为无限存储(例如gcs后端)。但是,让我们假设由于任何原因,kafka集群被删除,kafka数据丢失。
gcs/s3存储中的数据是否仍然有用?
我的意思是,我可以把旧的日志插入一个新的kafka集群吗?或者它现在完全没用了(太字节的日志)?
顺便说一句,我知道我可以分析gcs/s3存储和提取数据段。但这有点老套,所以我想看看能不能找到一个干净的解决办法。

o7jaxewo

o7jaxewo1#

从现在起,如果集群或者特别是启用了分层存储的主题被删除,那么如果您将gcs/s3中的数据连接到另一个集群,它将不会被“重新加载”。
如果要保留gcs/s3中的数据,则需要将数据流式传输到未启用分层存储的新主题,或者在删除数据之前使用kafka connect将数据独立写入可用格式。
我们确实计划在将来改进这个用例。

相关问题