先决条件
- 我正在运行最新的代码。如果可能的话,请提及版本。
- 我仔细遵循了 README.md 。
- 我使用与我的问题相关的关键词进行搜索,以确保我创建的是一个尚未打开(或关闭)的新问题。
- 我审阅了 Discussions ,并有一个新且有用的改进要分享。
功能描述
OuteAI 发布了一个新的小型 model ,对于其大小来说非常一致。
我请求将此模型的聊天模板添加到 llama.cpp 支持的模板列表中。
动机
该模型已经由 llama.cpp 支持。然而,它正在使用一个不在支持模板列表中的新聊天模板。因此,llama.cpp 假定 ChatML 是为此模型设计的。由于模型的大小,它对提示模板非常敏感,错误的格式会导致可怕的结果,用户在使用时会有糟糕的体验。
可能的实现方法
该模型的模板与 ChatML 非常相似,因此我们可以复制粘贴 ChatML 的实现并对其进行修改。
1条答案
按热度按时间htrmnn0y1#
我已经打开了一个PR来添加对这个模板的支持:
#8522