text-generation-inference 使用deepseek-ai/deepseek-coder-6.7b-instruct生成的乱码

pcww981p  于 2个月前  发布在  其他
关注(0)|答案(2)|浏览(86)

系统信息

尝试使用deepseek-coder-6.7b-instruct运行TGI 2.0.3和2.0.4,但生成的输出是一串\n
deepseek-coder-6.7b-instruct可以在TGI 2.0.2上正常工作。
TGI版本:2.0.3,2.0.4

信息

  • Docker
  • CLI直接使用

任务

  • 一个官方支持的命令
  • 我自己的修改

重现步骤

"prompt" : "You are an AI programming assistant, utilizing the DeepSeek Coder model, developed by DeepSeek Company, and you only answer questions related to computer science. For politically sensitive questions, security and privacy issues, and other non-computer science questions, you will refuse to answer.\n###Instruction:\nexplain this python code:\nusername = u.rsplit(\".\",1)[-1].strip()\n### Response:\n"
"stop": ["</s>", "<|im_end|>"]

生成的输出是:

"\n\n\n\n\n\n\n\n\n\n..."

预期行为

期望模型能够解释代码行,但输出了一串换行符。

相关问题