ollama 爱马仕3系列模型

sd2nnvve 于 4个月前发布在其他

关注(0)|答案(9)|浏览(121)

[https://huggingface.co/collections/NousResearch/hermes-3-66bd6c01399b14b08fe335ea](https://huggingface.co/collections/NousResearch/hermes-3-66bd6c01399b14b08fe335ea)
[https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B](https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B) 
 [https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-70B](https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-70B) 
 [https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-405B](https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-405B)
[https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B-GGUF](https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-8B-GGUF) 
 [https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-70B-GGUF](https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-70B-GGUF)

ollama

来源：https://github.com/ollama/ollama/issues/6388

9条答案

按热度按时间

wsewodh21#

获取了一些8B和70B的量化器：https://ollama.com/finalend/hermes-3-llama-3.1

赞(0）回复(0）举报 4个月前

nx7onnlm2#

相关：#6390(工具调用格式似乎与Llama 3.1不同——可能需要对代码进行更改以支持hermes工具调用格式？)

赞(0）回复(0）举报 4个月前

cedebl8k3#

更新模型标签以反映 #6390 的更改。

赞(0）回复(0）举报 4个月前

iugsix8n4#

更新了模型标签，以反映#6390的变化。
hermes-3-llama-3.1:8b-q8_0存在无限输出问题。

赞(0）回复(0）举报 4个月前

x9ybnkn65#

hermes-3-llama-3.1:8b-q8_0 存在无限输出问题。
在我这边运行正常，你使用的是哪个提示符？
你设置了任何参数或者更改了任何内容吗，还是一切都是默认的(例如，只是在控制台中使用 ollama run)?
这个问题只针对 Q8 量化器吗？

赞(0）回复(0）举报 4个月前

wxclj1h56#

hermes-3-llama-3.1:8b-q8_0 存在无限输出问题。
在我这边运行正常，你使用的是什么提示？你设置了哪些参数或者做了什么更改，还是一切都是默认的(例如在控制台中仅使用 ollama run)?这个问题只针对 Q8 量化器吗？
我在一个 RAG 流程中使用它。
这个问题只是偶尔发生。
这可能是模型本身的问题。

赞(0）回复(0）举报 4个月前

c0vxltue7#

hermes-3-llama-3.1:8b-q8_0 存在无限输出问题。
在我这边运行正常，你使用的是什么提示？你设置了哪些参数或者做了什么更改，还是一切都是默认的(例如在控制台中仅使用 ollama run)?这个问题只针对 Q8 量化器吗？
经过测试，它在简单的问答中有时会重复之前的答案。

赞(0）回复(0）举报 4个月前

eyh26e7m8#

尝试了在上下文窗口内外的问答。两者都完美无缺。你是否更改/提供任何参数？会话之间是否清除上下文？

赞(0）回复(0）举报 4个月前

vatpfxk59#

添加那组模型有任何障碍吗？

赞(0）回复(0）举报 4个月前