vllm 输出文本中存在错误,但输出的token_ids是正确的,

w6lpcovy  于 2个月前  发布在  其他
关注(0)|答案(3)|浏览(40)

可能错误发生在文件detokenize_incrementally.py中。函数如下:

from vllm import LLM
model = LLM('*')
response = model.generate('xxxxx')

结果response.outputs[0].text会被截断,但.tokens_ids是正确的。

相关问题