在Aim中进行模型和数据集版本控制,并在UI上保存渲染后的产物,

iq3niunx  于 2个月前  发布在  其他
关注(0)|答案(3)|浏览(36)

🚀 功能

为运行/实验中的不同模型/数据集添加跟踪和版本支持。Aim 在跟踪方面做得很好,但目前 Aim 中没有端到端的模型/数据工件管理方法。目标是增强可重复性,通过几行代码(以 mlflow 为灵感),Aim(理想情况下)应该能够完成序列化和保存模型以及将其与数据集版本关联的重任。
看起来 DVC 已经完成了大部分工作,并且与 Git 有很好的集成,将它卸载到 DVC 可能已经使这个功能的很大一部分功能就位了。
由于模型和数据集可能占用大量空间,Aim 可以支持用户从多个远程存储中进行选择。为了优化存储,Aim 可以提供本地或某些云存储(如 S3 等,DVC 已经支持)存储各种工件的功能。
DVC 支持多种类型的远程存储:本地文件系统、SSH、Amazon S3、Google Cloud Storage、HTTP、HDFS 等。有关更多详细信息,请参阅 dvc remote add。
以下是我遇到的一些链接:
a. https://mti-lab.github.io/blog/2021/03/03/dvc.html
b. https://dvc.org/doc/command-reference/remote#:~:text=DVC%20supports%20several%20types%20of,HTTP%2C%20HDFS%2C%20among%20others 。
注意:我在此处提到了 DVC,但可能还有比 DVC 更好的替代方案/库来实现这一点(我可能不知道)。因此,如果有更好的替代方案,请探索这些方案,只要在 Aim 中实现模型/数据集版本控制的结果可以达到即可。 :)
一旦这些工件被保存,它们就可以在每个运行页面中显示,以便于访问。

动机

如上所述。

简介

如上所述。

替代方案

目前 Aim 中没有。要实现模型/数据跟踪的端到端生命周期,用户必须使用 mlflow/dvc 而不是 Aim,这对用户来说并不友好。

其他上下文

cc:/ @SGevorg@gorarakelyan <- 根据我们在 Slack 上的讨论,请根据需要在此添加更多详细信息。

hm2xizp9

hm2xizp91#

关于这个问题,有任何更新吗?@gorarakelyan@SGevorg

xurqigkl

xurqigkl2#

ModelDB https://github.com/VertaAI/modeldb 的模型和数据管理/版本控制功能非常出色,直到企业版被优先考虑,开源解决方案停滞不前。我希望有一个类似于该解决方案的替代方案,以便与DVC相比。

zphenhs4

zphenhs43#

关于这个问题的最新进展?@gorarakelyan

相关问题