ollama 工具调用流式传输

3ks5zfa0  于 2个月前  发布在  其他
关注(0)|答案(2)|浏览(45)

问题是什么?
通过查看PR和工具调用+流的issue,似乎我们忽略了一个问题:当遇到一个工具调用时,应该将工具调用的主体与“聊天响应”区分开来。
我们需要实现以下高层次的逻辑:

for await (const chunk of response) {
  if (chunk is tool response) {
    storeAndCallToolLater(chunk);
  } else {
    showChatResponseToUser(chunk);
  }

我可能遗漏了一些东西,所以请告诉我是否如此。

lp0sw83n

lp0sw83n1#

我已经在用户端实现了这个功能,如果有人现在需要的话:https://github.com/jacob-ebey/ollama-tools

flmtquvp

flmtquvp2#

已经有多个拉取请求:
#5995

#5915

相关问题