你当前的环境是:
The output of `python collect_env.py`
你希望如何使用vllm?
我运行了vllm serve /mnt/datastore/shared/model-fp8 --max-model-len 16384 --tensor-parallel-size 8 --gpu-memory-utilization 0.95 --served-model-name model-v2-405b-e4
,但后来我得到了openai.APIStatusError: Error code: 405 - {'detail': 'Method Not Allowed'}
。我只在使用oai库的chat.completions API时遇到这个问题。文本补全API工作正常。
1条答案
按热度按时间kognpnkq1#
一种可能性是找不到聊天模板,或者无法找到聊天模板,因此某种程度上禁用了聊天端点。它应该显示为某个地方的警告日志消息。