ollama 请在模型列表中为每个模型添加CPU和GPU运行时的内存需求估计,

xkrw2x1b  于 2个月前  发布在  其他
关注(0)|答案(2)|浏览(38)

你想做什么?

我想要知道我的电脑是否能支持这个模型,但是目前没有人能告诉我。

我们应该如何解决这个问题?

如果在CPU上运行,为每个模型标签添加所需的内存。
如果在GPU上运行,为每个模型标签添加所需的显存。

不解决这个问题会有什么影响?

所有用户都必须下载并测试每个模型,这将浪费大量的资源。

还有其他问题吗?

  • 无响应*
rwqw0loc

rwqw0loc1#

为模型列表中的每个模型提供内存(RAM)和视频内存(VRAM)请求,我假设您指的是在AI应用中常用的机器学习和深度学习模型。请记住,这些是大致的值,实际资源需求可能因特定实现、数据集大小和硬件配置而有所不同。此外,GPU内存需求可能因训练过程中使用的批处理大小而有所不同。
以下是一个模型及其大致内存和VRAM请求的示例列表:

  • ResNet50:
  • CPU内存请求:大约4-8 GB RAM
  • GPU VRAM请求:大约2-4 GB VRAM
  • MobileNetV2:
  • CPU内存请求:大约2-4 GB RAM
  • GPU VRAM请求:大约1-2 GB VRAM
  • BERT (Base):
  • CPU内存请求:大约8-16 GB RAM
  • GPU VRAM请求:大约6-12 GB VRAM
  • YOLOv3:
  • CPU内存请求:大约4-8 GB RAM
  • GPU VRAM请求:大约4-8 GB VRAM
  • GPT-3 (Small):
  • CPU内存请求:大约16-32 GB RAM
  • GPU VRAM请求:大约8-16 GB VRAM
  • InceptionV3:
  • CPU内存请求:大约4-8 GB RAM
  • GPU VRAM请求:大约2-4 GB VRAM
  • VGG16:
  • CPU内存请求:大约8-16 GB RAM
  • GPU VRAM请求:大约4-8 GB VRAM
  • LSTM (Long Short-Term Memory):
  • CPU内存请求:大约8-16 GB RAM
  • GPU VRAM请求:大约4-8 GB VRAM

这些是大致的估计值,可能会因批处理大小、输入数据大小、模型复杂性和特定硬件配置等因素而有所不同。在模型训练期间监控资源使用情况始终是一种良好的实践,以优化资源分配和性能。

1l5u6lss

1l5u6lss2#

与类似这样的LLM VRAM计算器进行一些集成将非常有帮助。一个简单的指示,表明个人设备上是否可以运行模型,无论是在GPU还是CPU上。
(顺便说一下,ollama readme确实有一些模型大小估计,但VRAM计算似乎更完整。)

相关问题