aim 支持将数据存储在对象存储中

flmtquvp  于 2个月前  发布在  其他
关注(0)|答案(3)|浏览(27)

🚀 功能

目前,Aim将数据保存到本地持久卷中。请求的功能将允许将数据存储在现代云对象存储中,如s3、azure blob等。

动机

现代云存储比持久卷更容易维护,成本更低。这可以减少运行aim的系统管理员的管理开销。使用云对象存储的另一个大优点是它们在存储容量方面更具可扩展性。让我们考虑一个相对常见的场景:多个用户使用aim记录图像到Aim。管理员可能从1TB持久卷开始,并随着时间的推移逐渐增加卷的大小。使用云对象存储更具弹性,减少维护,使上述场景更容易管理。

推销

我希望能够通过运行时参数或aws配置文件将aim仓库存储在对象存储桶中。然后,Aim将把运行数据保存到云对象存储中。

替代方案

继续使用持久卷。这是可行的,但可以改进。

其他上下文

Aim真是太棒了!请继续保持优秀的工作!

qmb5sa22

qmb5sa221#

感谢RaananHadar打开这个问题。使用对象存储作为主要数据存储有一些限制(@alberttorosyan可以分享更多关于它的信息)
3.8版本很快就会发布,具有云备份功能 - 将.aim的内容备份到s3和其他地方?。
我刚刚意识到没有专门针对这个问题打开的议题。你的请求与即将发布的3.8版本略有不同。但这是朝着更好地集成云存储迈出的一步。

tvokkenx

tvokkenx2#

我的失误,这里@RaananHadar,云备份将不会作为3.8版本的一部分提供,很遗憾,但在3.9版本中会提供(由于“技术困难”)。

des4xlb0

des4xlb03#

请考虑在支持S3的基础上,也支持GCS存储桶。使用诸如fsspec等库可以轻松实现这一点。

相关问题