关于vllm和transformers之间的不同结果有很多问题。其中一些是由于vllm样本实现(如重复)引起的，或者是由于内核实现错误引起的。这些错误已在最新的vllm版本中修复。
当我测试vllm的最新版本时，我仍然得到了与transformers不同的结果。经过一些调查，我发现vllm和transformers之间的默认top_k值不同。Transformer的默认top_k为50,vllm的默认top_k为-1。
我测试了将vllm的top_k设置为50,结果与transformers相同。
希望这能有所帮助。