请问在chinese-clip获取到图文特征json数据后,如何在clip-retrieval使用呢,想搭建自己的demo

ruyhziif  于 2个月前  发布在  其他
关注(0)|答案(8)|浏览(37)

没有提供描述。

gz5pxeao

gz5pxeao1#

可以参考clip-retrieval官方repo的流程,我们也是完全遵循它来的。

vojdkbi0

vojdkbi02#

在clip-retrieval中,都是使用embeddings(嵌入向量)。那么我获取的json数据如何使用呢?还有就是怎么使用finetune后的模型?最近有这方面的需求。

hwazgwia

hwazgwia3#

请问搞定了吗?这两天我也在弄这个。

93ze6v8z

93ze6v8z4#

请问搞定了吗?这两天我也在弄这个。
目前看是微调好模型后用那个.pt文件去在clip-retrieval中进行inference。如果你弄出来了了什么的麻烦告诉我。

rpppsulh

rpppsulh5#

请问搞定了吗?这两天我也在处理这个问题。
目前看来,在微调好模型后,可以使用.pt文件在clip-retrieval中进行inference。如果你已经解决了问题,请告诉我。
我提了一个pull request,原因是all_clip不支持中文clip,因为state_dict参数不同。你也可以参考这个pull request进行本地修改:data2ml/all-clip#27

eit6fx6z

eit6fx6z6#

请问搞定了吗?这两天我也在处理这个问题。
目前看来,在微调好模型后,可以使用.pt文件在clip-retrieval中进行inference。如果你已经解决了问题,请告诉我。
我提了一个pull request,原因是all_clip不支持中文clip,因为state_dict参数不同。你可以参考这个pull request并在本地修改data2ml/all-clip#27
all_clip能让clip-retrieval直接加载中文模型吗?需要做额外的步骤吗?

s6fujrry

s6fujrry7#

请问搞定了吗?这两天我也在处理这个问题。
目前看来,在微调好模型后,可以使用.pt文件在clip-retrieval中进行inference。如果你已经解决了问题,请告诉我。
我提了一个pull request,原因是all_clip不支持中文clip,因为state_dict参数不同。你也可以参考这个pull request进行本地修改:data2ml/all-clip#27
all_clip是能让clip-retrieval直接加载中文模型吗?需要做额外的步骤吗?
clip-retrieval底层是用load_clip函数自动加载模型的,而Load_clip函数在all_clip模块下,且不支持chinese-clip。你只需要按照步骤添加chinese-clip的支持即可。目前我已经完全跑通了。

k2fxgqgv

k2fxgqgv8#

请问搞定了吗?这两天我也在处理这个问题。
目前看来,在微调好模型后,可以使用.pt文件在clip-retrieval中进行inference。如果你已经解决了问题,请告诉我。
我提了一个pull request,原因是all_clip不支持中文clip,因为state_dict参数不同。你也可以参考这个pull request进行本地修改:data2ml/all-clip#27
all_clip能让clip-retrieval直接加载中文模型吗?需要做额外的步骤吗?
clip-retrieval底层是用load_clip函数自动加载模型的,而Load_clip函数在all_clip模块下,且不支持chinese-clip。你只需要按照步骤添加chinese-clip的支持即可。目前我已经完全跑通了。
感谢你的帮助,已经解决。

相关问题