当我运行这个测试时,#3236 e2e,结果发现上一个测试
vllm/tests/worker/spec_decode/test_multi_step_worker.py
第147行 1ece1ae
| | deftest_same_output_for_multi_step(): |
出现了某种类型的CUDA非法内存访问错误。我发现
- 如果改变测试的顺序(例如,先运行这个
vllm/tests/worker/spec_decode/test_multi_step_worker.py
第70行 1ece1ae
| | deftest_same_output_for_single_step(): |
然后再运行多步操作)
- 或者如果我删除这两行
vllm/tests/worker/spec_decode/test_multi_step_worker.py
第93行 1ece1ae
| | multi_step_worker.model_runner=worker.model_runner |
问题就解决了。我不是非常确定发生了什么,但这似乎不太可靠
1条答案
按热度按时间zlhcx6iw1#
CC @cadedaniel