vllm 关于特殊标记

monwx1rj  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(41)

当我使用vllm和fastchat by chatglm3-6b时,模型总是生成"assistant"特殊标记,我该如何解决这个问题?
例如:
"春风轻拂绿意新,|assistant|助时光荏苒。
|assistant|勤勉不懈怠,|assistant|智慧照万方。"

arknldoa

arknldoa1#

将文本内容翻译为中文:在不进行chat微调的情况下,切换到另一个LLM模型,baichuan-2可能适合您。

相关问题