显示错误信息："cupy_backends.cuda.libs.nccl.NcclError: NCCL_ERROR_INVALID_USAGE: invalid usage"这个错误发生在vllm==0.3.2时，而vllm==0.2.7可以正常工作。要重现它：
python -m vllm.entrypoits.api_server --model mistralai/Mixtral-8x7B-v0.1 --tensor-parallel-size 2
vom3gejh1#
当我使用TP=2运行OPT-30B模型时，出现了相同的错误。我使用的是torch==2.1.1,cuda=11.8,vllm==0.3.3。
1条答案
按热度按时间vom3gejh1#
当我使用TP=2运行OPT-30B模型时，出现了相同的错误。我使用的是torch==2.1.1,cuda=11.8,vllm==0.3.3。