根据Ollama文档，它支持Llama 3 70b 4位精度。我想知道是否以及如何使用16位或32位精度模型。
yzckvree1#
您可以在库中看到模型的所有支持变体，对于llama3: https://ollama.com/library/llama3:70b-instruct-fp16在下拉菜单中选择模型并复制命令。在您的情况中： ollama run llama3:70b-instruct-fp16
ollama run llama3:70b-instruct-fp16
e7arh2l62#
据我所知，这已经可以实现了，所以这份报告没有意义。
2条答案
按热度按时间yzckvree1#
您可以在库中看到模型的所有支持变体，对于llama3: https://ollama.com/library/llama3:70b-instruct-fp16
在下拉菜单中选择模型并复制命令。在您的情况中：
ollama run llama3:70b-instruct-fp16e7arh2l62#
据我所知，这已经可以实现了，所以这份报告没有意义。