基于vllm qwen7B的服务结果与原始qwen结果不一致,准确性将显著下降。
5tmbdcev1#
对我来说也是一样,我使用的是vlm qwen14B,结果与原始的qwen14B不一致。
vs3odd8k2#
+1
0s7z1bwu3#
+1,特别是针对int4模型和批量推理条件。
3条答案
按热度按时间5tmbdcev1#
对我来说也是一样,我使用的是vlm qwen14B,结果与原始的qwen14B不一致。
vs3odd8k2#
+1
0s7z1bwu3#
+1,特别是针对int4模型和批量推理条件。