ollama 日志中不包含客户端发送的请求内容,

eimct9ow  于 2个月前  发布在  其他
关注(0)|答案(2)|浏览(21)

为了方便调试程序,我需要查看前端发送给大型模型的请求。但是,我注意到请求的URL和内容在日志中不可见。我在哪里可以找到它们?
我已经使用Docker部署了DBGPT。

u4dcyp6a

u4dcyp6a1#

请求体未记录。您可以通过在服务器环境中设置 OLLAMA_DEBUG=1 并搜索日志中的 msg="generate request" 来查看发送到推理引擎的提示。如果您想查看HTTP流量的内容,您将不得不使用外部工具。我通常在我的ollama容器镜像中安装 tcpflow 并使用它:

$ docker compose exec -it ollama apt install -y tcpflow
$ docker compose exec -it ollama tcpflow -c 'src port 11434 or dst port 11434'

其他工具,如 ngrep 也很有用。

sdnqo3pr

sdnqo3pr2#

我使用了WireShark。我在一台普通的电脑上部署了ollama,所以我使用了一个过滤器来检查langchain是如何构造一些问题的:ip.dst == 192.168.1.55 && tcp.dstport == 11434 && http。相应地,通过稍微改变过滤器,你可以拦截docker容器的请求。

相关问题