问题是什么?
通过查看PR和工具调用+流的issue,似乎我们忽略了一个问题:当遇到一个工具调用时,应该将工具调用的主体与“聊天响应”区分开来。
我们需要实现以下高层次的逻辑:
for await (const chunk of response) {
if (chunk is tool response) {
storeAndCallToolLater(chunk);
} else {
showChatResponseToUser(chunk);
}
我可能遗漏了一些东西,所以请告诉我是否如此。
2条答案
按热度按时间lp0sw83n1#
我已经在用户端实现了这个功能,如果有人现在需要的话:https://github.com/jacob-ebey/ollama-tools
flmtquvp2#
已经有多个拉取请求:
#5995
和
#5915