llama.cpp 功能请求:为 Lite-Mistral-Instruct 聊天模板添加支持

kzmpq1sx  于 4个月前  发布在  其他
关注(0)|答案(1)|浏览(40)

先决条件

  • 我正在运行最新的代码。如果可能的话,请提及版本。
  • 我仔细遵循了 README.md
  • 我使用与我的问题相关的关键词进行搜索,以确保我创建的是一个尚未打开(或关闭)的新问题。
  • 我审阅了 Discussions ,并有一个新且有用的改进要分享。

功能描述

OuteAI 发布了一个新的小型 model ,对于其大小来说非常一致。
我请求将此模型的聊天模板添加到 llama.cpp 支持的模板列表中。

动机

该模型已经由 llama.cpp 支持。然而,它正在使用一个不在支持模板列表中的新聊天模板。因此,llama.cpp 假定 ChatML 是为此模型设计的。由于模型的大小,它对提示模板非常敏感,错误的格式会导致可怕的结果,用户在使用时会有糟糕的体验。

可能的实现方法

该模型的模板与 ChatML 非常相似,因此我们可以复制粘贴 ChatML 的实现并对其进行修改。

htrmnn0y

htrmnn0y1#

我已经打开了一个PR来添加对这个模板的支持:
#8522

相关问题