vllm 在规范解码测试中,测试之间的潜在状态泄漏,

yyhrrdl8  于 5个月前  发布在  其他
关注(0)|答案(1)|浏览(75)

当我运行这个测试时,#3236 e2e,结果发现上一个测试
vllm/tests/worker/spec_decode/test_multi_step_worker.py
第147行 1ece1ae
| | deftest_same_output_for_multi_step(): |
出现了某种类型的CUDA非法内存访问错误。我发现

  • 如果改变测试的顺序(例如,先运行这个

vllm/tests/worker/spec_decode/test_multi_step_worker.py
第70行 1ece1ae
| | deftest_same_output_for_single_step(): |
然后再运行多步操作)

  • 或者如果我删除这两行

vllm/tests/worker/spec_decode/test_multi_step_worker.py
第93行 1ece1ae
| | multi_step_worker.model_runner=worker.model_runner |
问题就解决了。我不是非常确定发生了什么,但这似乎不太可靠

相关问题