DeepSpeed-MII 您是否支持DeepSeek的推理加速?非常感谢,

e0uiprwp  于 3个月前  发布在  其他
关注(0)|答案(4)|浏览(38)

没有提供描述。

szqfcxe2

szqfcxe21#

你好@joyhhheee,你能再具体一点吗?你是在说支持DeepSeek在HuggingFace上分享的模型吗?

k10s72fa

k10s72fa2#

在mii上运行deepseek模型会产生重复的结果,如果出现问题请不要使用。

3okqufwl

3okqufwl3#

++ 在类似 [https://huggingface.co/deepseek-ai/deepseek-coder-33b-instruct](https://huggingface.co/deepseek-ai/deepseek-coder-33b-instruct) 的模型上!
bmp9r5qi

bmp9r5qi4#

在这里也遇到了同样的问题,我放大了图片并查看了代码,为什么会产生重复的结果。我在混合引擎中找到了问题所在:
orig_module.forward = inference_container.module.forward
有人对此有什么见解吗?

相关问题