命令行错误,默认执行PyTorch格式模型,测试qwen1.5-7b或qwen1.5-32b的awq、gptq量化模型。--model-format awq 或 --model-format gptq不起作用,默认启动PyTorch格式模型。
643ylb081#
收到,我们会尽快定位问题。
x9ybnkn62#
请尝试使用v0.10.3,如果可以正常工作,请关闭此问题。
v0.10.3
2条答案
按热度按时间643ylb081#
收到,我们会尽快定位问题。
x9ybnkn62#
请尝试使用
v0.10.3
,如果可以正常工作,请关闭此问题。