问题是什么？
参考文档：https://ollama.com/blog/openai-compatibility
llm_config = {
"model": "llama3",
"api_key": "ollama",
"base_url": "http://localhost:11434/v1",
}[autogen.oai.client: 07-08 11:33:27] {329} 警告 - 找不到模型llama3。
如何解决？
操作系统
macOS
GPU
Apple
CPU
Apple
Ollama版本
0.1.32
6条答案
按热度按时间eeq64g8w1#
ollama pull llama3f8rj6qna2#
同样的问题，我位于一个企业代理后面。ollama pull llama3可以正常工作，我可以在终端中聊天。然而，当我将其用作浏览器、autogen studio或脚本的API时，它无法正常工作。总是出现“网站不存在(dns_unresolved_hostname)”的错误。我该如何解决这个问题？我已经设置了http_proxy和https_proxy。谢谢！
unftdfkk3#
没有足够的信息来诊断问题。
当你在终端中聊天时，你是否设置了OLLAMA_HOST?autogen/browser/script是否与ollama客户端在同一台机器上运行？ollama客户端和ollama服务器是否在同一台机器上运行？代理是否配置为转发端口11434?
如果autogen报告缺少模型，但你可以从ollama客户端使用它，听起来像是你正在运行两个服务器。
cig3rfwq4#
你好，我遇到了相同的问题，但我可以提供一些关于我的设置的更多信息。我有一个位于远程服务器/机器上的Ollama模型，通过设置端口转发来使用它。但我仍然收到与原始帖子作者之前分享的相同的错误，如下所示。
[autogen.oai.client: 07-23 16:13:02] {315} 警告 - 找不到模型llama3:70b。成本将为0。在您的config_list中，添加字段 {"price" : [prompt_price_per_1k, completion_token_price_per_1k]} 以获得自定义定价。
奇怪的是，使用nvtop跟踪托管LLM的远程机器上的GPU时，显示它正在运行并且正在使用LLM,尽管它声称没有。非常奇怪。
请问rick-github有什么想法可能导致这个问题吗？
hgqdbh6s5#
这是一个关于成本的警告信息：
https://github.com/microsoft/autogen/blob/b7bdbe1ecc1c00abd5172f472c6051d0230249bd/autogen/oai/client.py#L330
它对操作没有影响，autogen将使用模型，只是出于会计目的，autogen将其视为无成本。
30byixjq6#
感谢@rick-github。对于之后遇到的任何人，如果看到这个警告，请参考这条评论了解如何抑制此警告。