你好，我想测试madlad400,据说是一个很棒的翻译模型。我下载了GGUF并创建了一个仅包含FROM行的文件名。看起来模型已经创建成功，但当我进行测试时，出于某种原因它输出了2个空行。当我指定--verbose标志时，在推理结束时没有报告。理论上这应该可以工作吧？
--verbose
vzgqcmou1#
该模型架构不受支持，因此无法运行。
你可以尝试在llama.cpp存储库中为此问题添加你的声音(llama使用llama.cpp)
m1m5dgzv2#
Llama.cpp刚刚增加了对T5架构的支持：ggerganov/llama.cpp#8141现在这是可能的吗？
yvgpqqbh3#
I tried the same thing with ollama version 0.1.48 with no luck, how can we tell which ollama version is using which Llama.cpp?
0.1.48
vvppvyoh4#
这仍然不能在v2.0.1上工作，有人能解释一下为什么吗？Ollama有一个子模块是Llama.cpp,所以当进行构建时，它应该拥有最新版本的Llama.cpp,对吗？
v2.0.1
Llama.cpp
20jt8wwn5#
问题是，Ollama使用了Llama服务器，即使在最新的Llama.cpp版本中，对T5的支持也仅添加到了Llama-cli。在Llama服务器中支持T5仍然是一个待办事项。即使添加了支持，Ollama可能还需要反映一些API更改，从而引入一些延迟，尤其是因为T5是一种编码器-解码器模型，而不是像之前大多数支持的模型那样仅是解码器。
kkih6yb86#
感谢tritiumoxide的解释。
6条答案
按热度按时间vzgqcmou1#
该模型架构不受支持，因此无法运行。
你可以尝试在llama.cpp存储库中为此问题添加你的声音(llama使用llama.cpp)
m1m5dgzv2#
Llama.cpp刚刚增加了对T5架构的支持：ggerganov/llama.cpp#8141
现在这是可能的吗？
yvgpqqbh3#
I tried the same thing with ollama version
0.1.48with no luck, how can we tell which ollama version is using which Llama.cpp?vvppvyoh4#
这仍然不能在
v2.0.1上工作，有人能解释一下为什么吗？Ollama有一个子模块是Llama.cpp,所以当进行构建时，它应该拥有最新版本的Llama.cpp,对吗？20jt8wwn5#
问题是，Ollama使用了Llama服务器，即使在最新的Llama.cpp版本中，对T5的支持也仅添加到了Llama-cli。在Llama服务器中支持T5仍然是一个待办事项。即使添加了支持，Ollama可能还需要反映一些API更改，从而引入一些延迟，尤其是因为T5是一种编码器-解码器模型，而不是像之前大多数支持的模型那样仅是解码器。
kkih6yb86#
感谢tritiumoxide的解释。