所需先决条件
- 我搜索了 Issue Tracker 和 Discussions,但尚未报告。如果已经报告，请在那里加1或评论。*
- 建议首先在 Discussion 中提问。*
动机
在当前对开源模型的支持中，我们有一个名为 message_to_prompt 的函数，用于将 openai 用户助手交替格式转换为相应的模型模板。我相信这正是 .apply_chat_template 方法所做的。对于没有内置模板或需要特殊处理的模型，我们可以考虑为这些用例编写一个函数。
参考：
https://huggingface.co/docs/transformers/main/en/chat_templating
camel/camel/utils/token_counting.py
第21行 in d7e4924
| | def messages_to_prompt(messages: List[OpenAIMessage], model: ModelType) -> str: |
解决方案
- 无响应*
替代方案
- 无响应*
附加上下文
- 无响应*
1条答案
按热度按时间7d7tgy0s1#
好的，我看到直接应用这种方法有一些局限性，比如它不能应用于单个消息，而应该是聊天记录。在推理过程中没有问题，因为我们总是将整个历史提供给代理，但在其他时候，就像我们在score_based.py中需要的那样，它就是不起作用。也许我们应该想出一个更好的解决方案来利用chat_template中提供的分词器和我们自己的一些定制。