你好，在使用nous-hermes2模型与对话一段时间后(大约4-10个问题),它会在句子中间停止随机生成输出。我尝试了其他模型，如dolphin-mistral和openhermes,但没有遇到类似的行为。然而，这些是较小的模型。我在日志中看不到任何可疑的输出。这会不会是GPU上的VRAM问题？(只有8GB)然而，我看到分配的内存从未超过6.8GB。有人知道原因吗？
57hvy0tb1#
抱歉，关于这个问题，很难进行故障排除。最近发布的Nous Hermes 2 Pro 7B是否仍然存在这个问题？有人已经创建了一个模型文件，您可以使用它来自行导入模型或将其上传到Ollama.com:https://github.com/maxtheman/hermes-pro/blob/main/modelfile@teknium1已标记以提高可见性和提供帮助。
zc0qhyus2#
你使用的是mixtral 8x7b还是mistral 7b?你好，在使用nous-hermes2与对方聊天一段时间后(大约4-10个问题),它会在句子中间停止随机生成输出。我尝试了其他模型，如dolphin-mistral和openhermes,但没有遇到类似的行为。然而，这些模型较小。我从日志中看不到任何可疑的输出。这可能是GPU上的VRAM问题吗？(只有8GB)然而，我看到分配的内存从未超过6.8 GB。有人知道原因吗？
9ceoxa923#
你在使用mixtral 8x7b还是mistral 7b?
你好，在与nous-hermes2进行了一段时间的聊天(大约4-10个问题)后，它会在句子中间停止随机生成输出。我尝试了其他模型，如dolphin-mistral和openhermes,但我没有遇到过类似的行为，不过这些是较小的模型。我从日志中看不到任何可疑的输出。这可能是GPU上的VRAM问题吗？(只有8GB)然而，我看到分配的内存从未超过6.8 GB。有人知道吗？我正在使用11b:latest版本。嗨@aktersnurra,抱歉关于这个问题。这很难排查。新近发布的Nous Hermes 2 Pro 7B是否仍然存在这个问题？有人已经构建了一个modelfile,你可以自己导入模型或将其上传到Ollama.com:https://github.com/maxtheman/hermes-pro/blob/main/modelfile请@teknium1提高可见度并提供帮助。谢谢，我会测试这个模型，看看它是否显示类似的行为。
3条答案
按热度按时间57hvy0tb1#
抱歉，关于这个问题，很难进行故障排除。
最近发布的Nous Hermes 2 Pro 7B是否仍然存在这个问题？有人已经创建了一个模型文件，您可以使用它来自行导入模型或将其上传到Ollama.com:
https://github.com/maxtheman/hermes-pro/blob/main/modelfile
@teknium1已标记以提高可见性和提供帮助。
zc0qhyus2#
你使用的是mixtral 8x7b还是mistral 7b?
你好，
在使用nous-hermes2与对方聊天一段时间后(大约4-10个问题),它会在句子中间停止随机生成输出。我尝试了其他模型，如dolphin-mistral和openhermes,但没有遇到类似的行为。然而，这些模型较小。
我从日志中看不到任何可疑的输出。
这可能是GPU上的VRAM问题吗？(只有8GB)
然而，我看到分配的内存从未超过6.8 GB。
有人知道原因吗？
9ceoxa923#
你在使用mixtral 8x7b还是mistral 7b?
你好，
在与nous-hermes2进行了一段时间的聊天(大约4-10个问题)后，它会在句子中间停止随机生成输出。我尝试了其他模型，如dolphin-mistral和openhermes,但我没有遇到过类似的行为，不过这些是较小的模型。
我从日志中看不到任何可疑的输出。
这可能是GPU上的VRAM问题吗？(只有8GB)
然而，我看到分配的内存从未超过6.8 GB。
有人知道吗？
我正在使用11b:latest版本。
嗨@aktersnurra,抱歉关于这个问题。这很难排查。
新近发布的Nous Hermes 2 Pro 7B是否仍然存在这个问题？有人已经构建了一个modelfile,你可以自己导入模型或将其上传到Ollama.com:
https://github.com/maxtheman/hermes-pro/blob/main/modelfile
请@teknium1提高可见度并提供帮助。
谢谢，我会测试这个模型，看看它是否显示类似的行为。