为什么奥拉玛停止上传雅典娜？
1bqhqjot1#
已使用的GGUF源(https://huggingface.co/bullerwins/Athene-70B-GGUF)为Q6_K和Q8_0提供了拆分文件，这与Ollama的导入还不兼容(#5245)。我现在自己从原始模型作者的HF转换了GGUFs,并对剩余类型进行了量化，因此现在也有Q6_K、Q8_0和FP16:https://ollama.com/finalend/athene-70b
1条答案
按热度按时间1bqhqjot1#
已使用的GGUF源(https://huggingface.co/bullerwins/Athene-70B-GGUF)为Q6_K和Q8_0提供了拆分文件，这与Ollama的导入还不兼容(#5245)。
我现在自己从原始模型作者的HF转换了GGUFs,并对剩余类型进行了量化，因此现在也有Q6_K、Q8_0和FP16:
https://ollama.com/finalend/athene-70b