问题是什么？
我正在使用Ollama作为后端，并使用OpenAI的client.chat.completions.create发送消息。
我发现日志显示输入已被截断，n_ctx=2048。INFO [update_slots] input truncated | n_ctx=2048 n_erase=14097 n_keep=4 n_left=2044 n_shift=1022 tid="62632" timestamp=1721797206
我按照这种方式设置了上下文 /set parameter num_ctx 8192 。但是当我发送另一条消息时，日志仍然显示input_truncated:
INFO [update_slots] input truncated | n_ctx=2048 n_erase=14097 n_keep=4 n_left=2044 n_shift=1022 tid="62632" timestamp=1721797206
[GIN] 2024/07/24 - 13:00:49 | 200 | 42.2955085s | 127.0.0.1 | POST "/v1/chat/completions"我使用的是phi-3 128k。如何使用ollama + openai api在大于2048的上下文中使用？
谢谢。
操作系统
Windows
GPU
Nvidia
CPU
AMD
Ollama版本
0.2.8
1条答案
按热度按时间1aaf6o9v1#
将
"options": { "num_ctx": 8192}添加到您正在向 API 发起的调用中。或者，创建一个具有所需默认上下文大小的新模型：编辑 Modelfile 并添加
创建新模型：