我知道这可能不被支持，因为增加了复杂性，但我只是想澄清一下，因为我很惊讶地看到我可以将这些参数传递给服务器。现在我不确定地在这里遇到了一个IndexError
这是一个简单的客户端/服务器示例。我正在使用v0.2.7

python -m vllm.entrypoints.openai.api_server --model mistralai/Mistral-7B-Instruct-v0.1

from openai import OpenAI

openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)
chat_completion = client.chat.completions.create(
    messages=[{"role": "user", "content": "Hello, world!"}],
    model="mistralai/Mistral-7B-Instruct-v0.1",
    max_tokens=128,
    temperature=0,
    stream=True,
    extra_body={
      "use_beam_search": True,
      "best_of": 3
    }
)
for chunk in chat_completion:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)