您的处理脚本可能出现问题，我成功地管理了数百个并发请求，而没有遇到这样的问题。您能分享一下您的处理脚本吗？

@savannahfung @WoosukKwon @hmellor 我遇到了与上述描述相似的问题，包括 "vllm.entrypoints.api_server"。起初，它有效地处理并发请求，但最终开始挂起。我的假设是这可能与 GPU KV 缓存稳步增加到99.4%有关，导致崩溃和挂起，从而使其他请求处于“待定”状态。这个问题很可能与 #2731 有关。

解：设$f(n)$表示第n个图中不同颜色顶点的个数。

当$n=1$时，有3种颜色的顶点，即$f(1)=3$;

当$n=2$时，有5种颜色的顶点，即$f(2)=5$;

当$n=3$时，有7种颜色的顶点，即$f(3)=7$;

当$n=4$时，有9种颜色的顶点，即$f(4)=9$;

以此类推，可得：

第n个图中有$[f(1)+f(-1)]$种颜色的顶点，即$f(n+1)=f(n)+2$.

又因为$f(1)=3$,所以$f(2)=5$,$f(3)=7$,$f(4)=9$,$\ldots \ldots f(2021)=4043$.

这很奇怪，因为在GPU KV缓存使用率达到99.9%之前，它的使用率仅为4.2%,CPU KV缓存使用率为0.0%。除非它突然飙升到99.9%。

嘿，@savannahfung,只是想让你知道我已经顺利运行了100个并发请求。然而，当我尝试发送第101个请求时，我注意到GPU KV缓存使用率飙升至99.4%。因此，所有后续请求最终都处于“待定”状态。

我的意思是你提供的脚本中制作请求的部分，你提供了太多额外的代码来找出问题所在。你能做一个最小可复现问题的脚本吗？

我正在跟进这个问题，因为我也遇到了这个问题，就像@nehalvaghasiya描述的那样，100个并发请求将无限期地在待处理队列中进出。

大家好，
我遇到了相同的问题。
Python==3.11.5
vllm==0.4.0.post1
openai==1.23.1
这是我启动openai服务器的方式：
CUDA_VISIBLE_DEVICES=0 python -m vllm.entrypoints.openai.api_server --model mistralai/Mistral-7B-Instruct-v0.2 --uvicorn-log-level debug --port 8001 > vllm_server_log.txt 2>&1 &
这是我产生错误的Python代码：

import asyncio
from openai import AsyncOpenAI

model_name='mistralai/Mistral-7B-Instruct-v0.2'
client=AsyncOpenAI(api_key="EMPTY",base_url=f"http://localhost:8001/v1/")

async def _send_chat_completion(messages):
    completion = await client.chat.completions.create(model=model_name, messages=messages, temperature=0.0)
    return completion.choices[0].message.content.strip()

async def _send_async_requests(prompts_messages):
    tasks = [_send_chat_completion(msgs) for msgs in prompts_messages]
    responses = await asyncio.gather(*tasks)
    return responses

prompts_msgs = [{'role': 'user', 'content': 'suggest a dinner meal'}]
print('Starting first run..')
responses = asyncio.run(_send_async_requests([prompts_msgs] * 5))
print('Starting second run..')
responses = asyncio.run(_send_async_requests([prompts_msgs] * 5))

第二次运行从未完成，服务器日志甚至没有提到它收到了请求。
我想把其他面临类似问题的用户指向相应的openai github页面，在那里他们报告说他们正在积极修复这个问题，但这似乎是一个与openai使用的其他模块更严重的问题(参见 openai/openai-python#769 )。
我的解决方法是使用原始请求，在那里我没有看到这个错误(尽管在上面链接的问题中，openai报告说你也可能遇到同样的问题)。调整上面的代码如下：

import asyncio
import aiohttp
async def _send_chat_completion(messages):
    print('starting openai request')
    async with aiohttp.ClientSession() as session:
        response = await session.post(url="http://localhost:8001/v1/chat/completions",
                                      json={"messages": messages, "model": "mistralai/Mistral-7B-Instruct-v0.2"},
                                      headers={"Content-Type": "application/json"})
        return await response.json()

async def _send_async_requests(prompts_messages):
    tasks = [_send_chat_completion(msgs) for msgs in prompts_messages]
    responses = await asyncio.gather(*tasks)
    responses = [resp['choices'][0]['message']['content'].strip() for resp in responses]
    return responses

prompts_msgs = [{'role': 'user', 'content': 'suggest a dinner meal'}]
print('Starting first run..')
responses = asyncio.run(_send_async_requests([prompts_msgs] * 5))
print('Starting second run..')
responses = asyncio.run(_send_async_requests([prompts_msgs] * 5))

希望它能尽快修复。