你好,我想测试madlad400,据说是一个很棒的翻译模型。我下载了GGUF并创建了一个仅包含FROM行的文件名。看起来模型已经创建成功,但当我进行测试时,出于某种原因它输出了2个空行。当我指定--verbose标志时,在推理结束时没有报告。理论上这应该可以工作吧?
--verbose
vzgqcmou1#
该模型架构不受支持,因此无法运行。
你可以尝试在llama.cpp存储库中为此问题添加你的声音(llama使用llama.cpp)
m1m5dgzv2#
Llama.cpp刚刚增加了对T5架构的支持:ggerganov/llama.cpp#8141现在这是可能的吗?
yvgpqqbh3#
I tried the same thing with ollama version 0.1.48 with no luck, how can we tell which ollama version is using which Llama.cpp?
0.1.48
vvppvyoh4#
这仍然不能在v2.0.1上工作,有人能解释一下为什么吗?Ollama有一个子模块是Llama.cpp,所以当进行构建时,它应该拥有最新版本的Llama.cpp,对吗?
v2.0.1
Llama.cpp
20jt8wwn5#
问题是,Ollama使用了Llama服务器,即使在最新的Llama.cpp版本中,对T5的支持也仅添加到了Llama-cli。在Llama服务器中支持T5仍然是一个待办事项。即使添加了支持,Ollama可能还需要反映一些API更改,从而引入一些延迟,尤其是因为T5是一种编码器-解码器模型,而不是像之前大多数支持的模型那样仅是解码器。
kkih6yb86#
感谢tritiumoxide的解释。
6条答案
按热度按时间vzgqcmou1#
该模型架构不受支持,因此无法运行。
你可以尝试在llama.cpp存储库中为此问题添加你的声音(llama使用llama.cpp)
m1m5dgzv2#
Llama.cpp刚刚增加了对T5架构的支持:ggerganov/llama.cpp#8141
现在这是可能的吗?
yvgpqqbh3#
I tried the same thing with ollama version
0.1.48
with no luck, how can we tell which ollama version is using which Llama.cpp?vvppvyoh4#
这仍然不能在
v2.0.1
上工作,有人能解释一下为什么吗?Ollama有一个子模块是Llama.cpp
,所以当进行构建时,它应该拥有最新版本的Llama.cpp
,对吗?20jt8wwn5#
问题是,Ollama使用了Llama服务器,即使在最新的Llama.cpp版本中,对T5的支持也仅添加到了Llama-cli。在Llama服务器中支持T5仍然是一个待办事项。即使添加了支持,Ollama可能还需要反映一些API更改,从而引入一些延迟,尤其是因为T5是一种编码器-解码器模型,而不是像之前大多数支持的模型那样仅是解码器。
kkih6yb86#
感谢tritiumoxide的解释。