JetMoE是一种Maven混合模型,在达到Llama2性能的同时,只有$2.2\text{B}$个活跃参数。我认为这对于低端设备有很大的潜力,将其纳入Ollama库会很好。
1u4esq0p1#
我认为这取决于 ggerganov/llama.cpp#6499
1条答案
按热度按时间1u4esq0p1#
我认为这取决于 ggerganov/llama.cpp#6499