你好,在使用nous-hermes2模型与对话一段时间后(大约4-10个问题),它会在句子中间停止随机生成输出。我尝试了其他模型,如dolphin-mistral和openhermes,但没有遇到类似的行为。然而,这些是较小的模型。我在日志中看不到任何可疑的输出。这会不会是GPU上的VRAM问题?(只有8GB)然而,我看到分配的内存从未超过6.8GB。有人知道原因吗?
57hvy0tb1#
抱歉,关于这个问题,很难进行故障排除。最近发布的Nous Hermes 2 Pro 7B是否仍然存在这个问题?有人已经创建了一个模型文件,您可以使用它来自行导入模型或将其上传到Ollama.com:https://github.com/maxtheman/hermes-pro/blob/main/modelfile@teknium1已标记以提高可见性和提供帮助。
zc0qhyus2#
你使用的是mixtral 8x7b还是mistral 7b?你好,在使用nous-hermes2与对方聊天一段时间后(大约4-10个问题),它会在句子中间停止随机生成输出。我尝试了其他模型,如dolphin-mistral和openhermes,但没有遇到类似的行为。然而,这些模型较小。我从日志中看不到任何可疑的输出。这可能是GPU上的VRAM问题吗?(只有8GB)然而,我看到分配的内存从未超过6.8 GB。有人知道原因吗?
9ceoxa923#
你在使用mixtral 8x7b还是mistral 7b?
你好,在与nous-hermes2进行了一段时间的聊天(大约4-10个问题)后,它会在句子中间停止随机生成输出。我尝试了其他模型,如dolphin-mistral和openhermes,但我没有遇到过类似的行为,不过这些是较小的模型。我从日志中看不到任何可疑的输出。这可能是GPU上的VRAM问题吗?(只有8GB)然而,我看到分配的内存从未超过6.8 GB。有人知道吗?我正在使用11b:latest版本。嗨@aktersnurra,抱歉关于这个问题。这很难排查。新近发布的Nous Hermes 2 Pro 7B是否仍然存在这个问题?有人已经构建了一个modelfile,你可以自己导入模型或将其上传到Ollama.com:https://github.com/maxtheman/hermes-pro/blob/main/modelfile请@teknium1提高可见度并提供帮助。谢谢,我会测试这个模型,看看它是否显示类似的行为。
3条答案
按热度按时间57hvy0tb1#
抱歉,关于这个问题,很难进行故障排除。
最近发布的Nous Hermes 2 Pro 7B是否仍然存在这个问题?有人已经创建了一个模型文件,您可以使用它来自行导入模型或将其上传到Ollama.com:
https://github.com/maxtheman/hermes-pro/blob/main/modelfile
@teknium1已标记以提高可见性和提供帮助。
zc0qhyus2#
你使用的是mixtral 8x7b还是mistral 7b?
你好,
在使用nous-hermes2与对方聊天一段时间后(大约4-10个问题),它会在句子中间停止随机生成输出。我尝试了其他模型,如dolphin-mistral和openhermes,但没有遇到类似的行为。然而,这些模型较小。
我从日志中看不到任何可疑的输出。
这可能是GPU上的VRAM问题吗?(只有8GB)
然而,我看到分配的内存从未超过6.8 GB。
有人知道原因吗?
9ceoxa923#
你在使用mixtral 8x7b还是mistral 7b?
你好,
在与nous-hermes2进行了一段时间的聊天(大约4-10个问题)后,它会在句子中间停止随机生成输出。我尝试了其他模型,如dolphin-mistral和openhermes,但我没有遇到过类似的行为,不过这些是较小的模型。
我从日志中看不到任何可疑的输出。
这可能是GPU上的VRAM问题吗?(只有8GB)
然而,我看到分配的内存从未超过6.8 GB。
有人知道吗?
我正在使用11b:latest版本。
嗨@aktersnurra,抱歉关于这个问题。这很难排查。
新近发布的Nous Hermes 2 Pro 7B是否仍然存在这个问题?有人已经构建了一个modelfile,你可以自己导入模型或将其上传到Ollama.com:
https://github.com/maxtheman/hermes-pro/blob/main/modelfile
请@teknium1提高可见度并提供帮助。
谢谢,我会测试这个模型,看看它是否显示类似的行为。