这个量化是缺失的。
au9on6nz1#
我认为你可以使用ollama命令根据你的规格生成模型的量化版本。查看帮助，它看起来像这样：❯ ollama create -h从Modelfile创建一个模型用法：ollama create MODEL [flags]标志：-f, --file string Modelfile的名称(默认为"Modelfile")-h, --help 帮助create-q, --quantize string 将模型量化到这个级别(例如q4_0)
5lwkijsr2#
对于小型模型来说，这不是什么大问题，但对于像405b这样的大型模型，下载完整的fp16并进行量化需要很长时间。如果Ollama库为llama 3.1 405b提供其他量化方法，那将是非常棒的。
4dc9hkyq3#
我们目前无法在 Ollama 上访问完整的 fp16 版本；405B 模型的默认配置是 Q_4。也许可以将其 "下量化" 为 Q_2,或者从另一个来源获取完整的 fp16 版本。这两个选项都涉及相当大的努力，我需要确定 Q_2 中的 405B 是否比 FP16 中的 70B 具有显著优势。 😅
vwhgwdsa4#
我们目前无法在Ollama上访问完整的fp16版本。我认为Meta提供了llama3.1-405b的fp16版本吗？难道Ollama团队不能将其转换为gguf并基于该进行量化吗？
vvppvyoh5#
我的意思是，我们这些用户，我会把我的一些帖子发给GPT进行语法修正，但有时候它会弄乱。
fcwjkofz6#
解：根据题意，得$(x+y)^{2}-4xy=(x-y)^{2}$。
rnmwe5a27#
我尝试从这个确切的来源进行操作，并将其导入到ollama中，但未能正确运行导入的模型。我还没有添加外部模型的经验。我会等待几天，直到有人解决如何做到这一点：)
7条答案
按热度按时间au9on6nz1#
我认为你可以使用ollama命令根据你的规格生成模型的量化版本。查看帮助，它看起来像这样：
❯ ollama create -h
从Modelfile创建一个模型
用法：
ollama create MODEL [flags]
标志：
-f, --file string Modelfile的名称(默认为"Modelfile")
-h, --help 帮助create
-q, --quantize string 将模型量化到这个级别(例如q4_0)
5lwkijsr2#
对于小型模型来说，这不是什么大问题，但对于像405b这样的大型模型，下载完整的fp16并进行量化需要很长时间。如果Ollama库为llama 3.1 405b提供其他量化方法，那将是非常棒的。
4dc9hkyq3#
我们目前无法在 Ollama 上访问完整的 fp16 版本；405B 模型的默认配置是 Q_4。也许可以将其 "下量化" 为 Q_2,或者从另一个来源获取完整的 fp16 版本。这两个选项都涉及相当大的努力，我需要确定 Q_2 中的 405B 是否比 FP16 中的 70B 具有显著优势。 😅
vwhgwdsa4#
我们目前无法在Ollama上访问完整的fp16版本。
我认为Meta提供了llama3.1-405b的fp16版本吗？难道Ollama团队不能将其转换为gguf并基于该进行量化吗？
vvppvyoh5#
我的意思是，我们这些用户，我会把我的一些帖子发给GPT进行语法修正，但有时候它会弄乱。
fcwjkofz6#
解：根据题意，得$(x+y)^{2}-4xy=(x-y)^{2}$。
rnmwe5a27#
我尝试从这个确切的来源进行操作，并将其导入到ollama中，但未能正确运行导入的模型。我还没有添加外部模型的经验。我会等待几天，直到有人解决如何做到这一点：)