为了方便调试程序,我需要查看前端发送给大型模型的请求。但是,我注意到请求的URL和内容在日志中不可见。我在哪里可以找到它们?我已经使用Docker部署了DBGPT。
u4dcyp6a1#
请求体未记录。您可以通过在服务器环境中设置 OLLAMA_DEBUG=1 并搜索日志中的 msg="generate request" 来查看发送到推理引擎的提示。如果您想查看HTTP流量的内容,您将不得不使用外部工具。我通常在我的ollama容器镜像中安装 tcpflow 并使用它:
OLLAMA_DEBUG=1
msg="generate request"
tcpflow
$ docker compose exec -it ollama apt install -y tcpflow $ docker compose exec -it ollama tcpflow -c 'src port 11434 or dst port 11434'
其他工具,如 ngrep 也很有用。
ngrep
sdnqo3pr2#
我使用了WireShark。我在一台普通的电脑上部署了ollama,所以我使用了一个过滤器来检查langchain是如何构造一些问题的:ip.dst == 192.168.1.55 && tcp.dstport == 11434 && http。相应地,通过稍微改变过滤器,你可以拦截docker容器的请求。
ip.dst == 192.168.1.55 && tcp.dstport == 11434 && http
2条答案
按热度按时间u4dcyp6a1#
请求体未记录。您可以通过在服务器环境中设置
OLLAMA_DEBUG=1
并搜索日志中的msg="generate request"
来查看发送到推理引擎的提示。如果您想查看HTTP流量的内容,您将不得不使用外部工具。我通常在我的ollama容器镜像中安装tcpflow
并使用它:其他工具,如
ngrep
也很有用。sdnqo3pr2#
我使用了WireShark。我在一台普通的电脑上部署了ollama,所以我使用了一个过滤器来检查langchain是如何构造一些问题的:
ip.dst == 192.168.1.55 && tcp.dstport == 11434 && http
。相应地,通过稍微改变过滤器,你可以拦截docker容器的请求。