我想要知道我的电脑是否能支持这个模型,但是目前没有人能告诉我。
如果在CPU上运行,为每个模型标签添加所需的内存。如果在GPU上运行,为每个模型标签添加所需的显存。
所有用户都必须下载并测试每个模型,这将浪费大量的资源。
rwqw0loc1#
为模型列表中的每个模型提供内存(RAM)和视频内存(VRAM)请求,我假设您指的是在AI应用中常用的机器学习和深度学习模型。请记住,这些是大致的值,实际资源需求可能因特定实现、数据集大小和硬件配置而有所不同。此外,GPU内存需求可能因训练过程中使用的批处理大小而有所不同。以下是一个模型及其大致内存和VRAM请求的示例列表:
这些是大致的估计值,可能会因批处理大小、输入数据大小、模型复杂性和特定硬件配置等因素而有所不同。在模型训练期间监控资源使用情况始终是一种良好的实践,以优化资源分配和性能。
1l5u6lss2#
与类似这样的LLM VRAM计算器进行一些集成将非常有帮助。一个简单的指示,表明个人设备上是否可以运行模型,无论是在GPU还是CPU上。(顺便说一下,ollama readme确实有一些模型大小估计,但VRAM计算似乎更完整。)
2条答案
按热度按时间rwqw0loc1#
为模型列表中的每个模型提供内存(RAM)和视频内存(VRAM)请求,我假设您指的是在AI应用中常用的机器学习和深度学习模型。请记住,这些是大致的值,实际资源需求可能因特定实现、数据集大小和硬件配置而有所不同。此外,GPU内存需求可能因训练过程中使用的批处理大小而有所不同。
以下是一个模型及其大致内存和VRAM请求的示例列表:
这些是大致的估计值,可能会因批处理大小、输入数据大小、模型复杂性和特定硬件配置等因素而有所不同。在模型训练期间监控资源使用情况始终是一种良好的实践,以优化资源分配和性能。
1l5u6lss2#
与类似这样的LLM VRAM计算器进行一些集成将非常有帮助。一个简单的指示,表明个人设备上是否可以运行模型,无论是在GPU还是CPU上。
(顺便说一下,ollama readme确实有一些模型大小估计,但VRAM计算似乎更完整。)