qwen14B通过VLLM加速的推理结果准确度降低了,

p5fdfcr1  于 5个月前  发布在  其他
关注(0)|答案(1)|浏览(69)

你好!

以下是我的问题:

我最近注意到,使用vllm加速的qwen14B进行流式推理的结果与原始qwen推理的结果之间存在不一致性,导致准确度降低。请问您能否调查并解决这个问题?非常感谢您的协助和支持。

相关问题