你好!
以下是我的问题:
我最近注意到,使用vllm加速的qwen14B进行流式推理的结果与原始qwen推理的结果之间存在不一致性,导致准确度降低。请问您能否调查并解决这个问题?非常感谢您的协助和支持。
y4ekin9u1#
.
1条答案
按热度按时间y4ekin9u1#
.