你可能在使用一个旧的llama.cpp子模块，它缺少以下合并(子模块正在使用一周前的版本，这些合并发生在昨天左右),以获得基本的Phi-3支持；

$x_{1e0f1}x$

$x_{1e1f1}x$
因此，需要类似于此的更新；

$x_{1e2f1}x$

然而，llama.cpp上的这个问题已经被重新打开，专门针对128k上下文；

$x_{1e3f1}x$

这最有意义。Llama.cpp能够加载我尝试过的至少一个模型。有简单的方法可以拉取特定的提交吗？

在2024年4月25日星期四，12:51 AM,hak8or ***@***.***>写道：你可能在使用较旧的llama.cpp子模块时遇到了ollama,它缺少以下合并(子模块正在使用一周前的版本，这些合并发生在昨天左右),以获得基本的Phi-3支持； - ggerganov/llama.cpp#6857 < ggerganov/llama.cpp#6857 > - ggerganov/llama.cpp#6852 < ggerganov/llama.cpp#6852 > 因此需要类似于此的更新； - #3665 < #3665 > 不过需要注意的是，llama.cpp上的这个问题已经被专门重新打开，用于128k上下文； - ggerganov/llama.cpp#6849 < ggerganov/llama.cpp#6849 > — 直接回复此电子邮件，查看GitHub上的内容<#3894 (评论)>,或取消订阅< https://github.com/notifications/unsubscribe-auth/ABDD3ZI2F2DOOOJ6BVTECQ3Y7CDURAVCNFSM6AAAAABGX2WNBCVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDANZWGM2TEMJUGU >。你收到这封邮件是因为你是这个主题的作者。消息ID:***@***.***>

临时解决方法是将上下文设置为60000。虽然不如128K好，但比4K要好。
这似乎对我的四块(4)12.2GiB Titan GPUs的ollama有效。其他人可能需要调整他们的上下文大小以匹配他们的硬件。

60k上下文用于使用pruneAI的phi-3-mini-128k gguf通过ollama运行，但尝试通过langchain的ChatOllama使用它仍然会产生乱码。

self.model_name = ChatOllama(
            model=phi3-128k,
            temperature=1,
            num_ctx=32768,
            //num_keep=4,
            stop=[
                "<|user|>",
                "<|assistant|>"
                "<|system|>"
                "<|end|>"
                "<|endoftext|>"
            ]
        )

以下是我使用的模型文件：

FROM "pathto\Phi-3-mini-128k-instruct.Q4_K_M.gguf"
TEMPLATE """{{ if .System }}<|system|>
 {{ .System }}<|end|>
 {{ end }}{{ if .Prompt }}<|user|>
 {{ .Prompt }}<|end|>
 {{ end }}<|assistant|>
 {{ .Response }}<|end|>
"""
PARAMETER stop "<|user|>"
PARAMETER stop "<|assistant|>"
PARAMETER stop "<|system|>"
PARAMETER stop "<|end|>"
PARAMETER stop "<|endoftext|>"
PARAMETER num_keep 4
PARAMETER num_ctx 32768
有任何解释吗？还是我漏掉了什么？

在 0.1.32 中首次为 $\phi_3$ 提供了支持，转换应该在 0.1.33 中起作用。请尝试最新的 RC 并告诉我们是否仍然存在问题。