将最大线程数作为环境变量暴露,或者设置 ollama 以使用 CPU 提供的所有核心/线程,

xvw2m8pv  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(31)

在看到#2929之后,我也遇到了同样的问题。因为我同时在使用open-webui和enchanted这两个库,所以在我的EPYC 7302P上查询时,CPU只使用了一半的资源。
我知道在使用CLI时可以设置一个/parameter,但我希望将其设置为默认值。或者,为什么ollama没有使用主机CPU上的所有可用线程呢?这似乎应该是默认设置。
话虽如此,如果能将这个选项暴露为环境变量选项就太好了,这样那些不想使用整个CPU(例如在桌面上运行时)的人也可以使用。

wd2eg0qa

wd2eg0qa1#

我在使用Python SDK时遇到了相同的问题。

相关问题