可能错误发生在文件detokenize_incrementally.py中。函数如下:
from vllm import LLM model = LLM('*') response = model.generate('xxxxx')
结果response.outputs[0].text会被截断,但.tokens_ids是正确的。
f2uvfpb91#
我也是
cyej8jka2#
vllm: 0.3.2
niwlg2el3#
+1
3条答案
按热度按时间f2uvfpb91#
我也是
cyej8jka2#
vllm: 0.3.2
niwlg2el3#
+1