在看到#2929之后,我也遇到了同样的问题。因为我同时在使用open-webui和enchanted这两个库,所以在我的EPYC 7302P上查询时,CPU只使用了一半的资源。我知道在使用CLI时可以设置一个/parameter,但我希望将其设置为默认值。或者,为什么ollama没有使用主机CPU上的所有可用线程呢?这似乎应该是默认设置。话虽如此,如果能将这个选项暴露为环境变量选项就太好了,这样那些不想使用整个CPU(例如在桌面上运行时)的人也可以使用。
wd2eg0qa1#
我在使用Python SDK时遇到了相同的问题。
1条答案
按热度按时间wd2eg0qa1#
我在使用Python SDK时遇到了相同的问题。