我希望在Ollama中看到对AirLLM的添加/支持，因为它可以极大地减少运行大型模型所需的显存量。
kninwzqo1#
我的家庭实验室在过去的10年里或多或少地自然成长起来，其中包括很多废弃的游戏硬件。如果Ollama能加入一些功能让我能更好地利用现有的设备就太好了。无论是AirLLM使用的压缩方法，还是能让多个示例在本地网络上协调的功能，都非常棒。请继续保持优秀的工作！
1条答案
按热度按时间kninwzqo1#
我的家庭实验室在过去的10年里或多或少地自然成长起来，其中包括很多废弃的游戏硬件。如果Ollama能加入一些功能让我能更好地利用现有的设备就太好了。无论是AirLLM使用的压缩方法，还是能让多个示例在本地网络上协调的功能，都非常棒。请继续保持优秀的工作！