DeepSpeed-MII 允许model_path仅部署"本地"模型,

5ktev3wc 于 6个月前发布在其他

关注(0)|答案(3)|浏览(124)

我想使用相对路径下的本地模型，例如：

mii.deploy(task='text-classification',
             model_path="mymodel",
             deployment_name=self.deploy_name,
             mii_config=mii_config)

。当尝试运行时，会出现错误：model 参数需要定义。在尝试定义模型参数时，需要提供一个有效的HF模型。这是一个问题，因为你需要互联网连接，而不能仅使用本地模型。

DeepSpeed-MII

来源：https://github.com/microsoft/DeepSpeed-MII/issues/136

3条答案

按热度按时间

vfwfrxfs1#

@philschmid model_path 被用作huggingface缓存模型的路径。如果你已经将huggingface模型下载到目录/path/to/my/model/(该目录应包含pytorch_model.bin、config.json等),那么你可以通过MII加载模型，具体操作如下：

mii_config = {"skip_model_check": True}
mii.deploy(task='text-classification',
           model="/path/to/my/model/",
           deployment_name="my_model_deployment",
           mii_config=mii_config)

赞(0）回复(0）举报 6个月前

pinkon5k2#

谢谢@minjiaz,我会尝试一下！
顺便问一下，有没有计划提供托管的文档？

赞(0）回复(0）举报 6个月前

30byixjq3#

我们正在改进文档，但我不确定何时会发布。

赞(0）回复(0）举报 6个月前