inference v10.2.post1,命令行BUG,默认执行pytorch格式模型

6psbrbz9  于 5个月前  发布在  其他
关注(0)|答案(2)|浏览(59)

命令行错误,默认执行PyTorch格式模型,测试qwen1.5-7b或qwen1.5-32b的awq、gptq量化模型。
--model-format awq 或 --model-format gptq不起作用,默认启动PyTorch格式模型。

643ylb08

643ylb081#

收到,我们会尽快定位问题。

x9ybnkn6

x9ybnkn62#

请尝试使用v0.10.3,如果可以正常工作,请关闭此问题。

相关问题