目前，Ollama允许在少量的显存和系统内存上加载大型模型，导致页面交换到磁盘并最终出现错误。它应该限制模型的大小以避免错误。
xesrikrc1#
这部分在#4517中有所涉及，尽管系统内存逻辑用于并发处理，因此需要进行一些重构以防止单个模型加载。
1条答案
按热度按时间xesrikrc1#
这部分在#4517中有所涉及，尽管系统内存逻辑用于并发处理，因此需要进行一些重构以防止单个模型加载。