vllm [Bug]:尾部问题

shyt4zoc  于 3个月前  发布在  其他
关注(0)|答案(1)|浏览(35)

你的当前环境

The output of `python collect_env.py`

🐛 描述bug

我想知道是否只有我遇到了这个问题,每次生成过程关闭时,它都会卡在那里很长时间。所以主要的时间成本在最开始和关闭过程。我想知道为什么以及如何解决它。

omhiaaxx

omhiaaxx1#

请提供一个具体的示例,包括代码和系统时间(带有python collect_env.py的输出),以便我们能够重现并帮助您诊断问题。

相关问题