目前,Ollama允许在少量的显存和系统内存上加载大型模型,导致页面交换到磁盘并最终出现错误。它应该限制模型的大小以避免错误。
xesrikrc1#
这部分在#4517中有所涉及,尽管系统内存逻辑用于并发处理,因此需要进行一些重构以防止单个模型加载。
1条答案
按热度按时间xesrikrc1#
这部分在#4517中有所涉及,尽管系统内存逻辑用于并发处理,因此需要进行一些重构以防止单个模型加载。