vllm部署qwen-14B的结果与原始qwen-14B的结果不一致，我们希望尽快优化qwen-14B的集成效果。
aiqt4smr1#
对我也是。
czq61nw12#
根据我所知，vLLM并不能保证位运算的正确性(请参阅meetup幻灯片的第38页)。如果结果答案的字面意思相同，那么就没有问题。
7bsow1i63#
在两个答案之间仍然存在很大的差异。有时候，VLLM结果只是答案的一部分，而不是全面的。
juud5qan4#
qxsslcnc5#
+1
5条答案
按热度按时间aiqt4smr1#
对我也是。
czq61nw12#
根据我所知，vLLM并不能保证位运算的正确性(请参阅meetup幻灯片的第38页)。如果结果答案的字面意思相同，那么就没有问题。
7bsow1i63#
在两个答案之间仍然存在很大的差异。有时候，VLLM结果只是答案的一部分，而不是全面的。
juud5qan4#
对我也是。
qxsslcnc5#
+1