有人能提供关于如何调整mixtral中Maven数量的指导或文档吗？我特别想了解是否有方法可以根据不同任务或场景的要求动态调整这个数量。
4szc88ey1#
我不确定Ollama使用的是什么，但是对于llama.cppbackend,你可以使用以下命令在模型中覆盖一个键：
llama.cpp
--override-kv KEY=TYPE:VALUE advanced option to override model metadata by key. may be specified multiple times. types: int, float, bool. example: --override-kv tokenizer.ggml.add_bos_token=bool:false
例如，我使用以下命令覆盖它们：
--override-kv llama.expert_used_count=int:3
但我认为这还不被MODELFILE支持。
nafvub8i2#
如何使用ollama实现？有人能帮忙吗？
wgxvkvu93#
你找到答案了吗？
3条答案
按热度按时间4szc88ey1#
我不确定Ollama使用的是什么，但是对于
llama.cppbackend,你可以使用以下命令在模型中覆盖一个键：例如，我使用以下命令覆盖它们：
但我认为这还不被MODELFILE支持。
nafvub8i2#
如何使用ollama实现？有人能帮忙吗？
wgxvkvu93#
你找到答案了吗？