我根据以下说明在MacBook Pro(M1芯片)上安装了gpt 4all python绑定:https://github.com/nomic-ai/gpt4all/tree/main/gpt4all-bindings/python。
然而,在尝试一些模型时,我遇到了一个LLModel错误,我认为这与我的MacBook的M1芯片有关.但应该有一个解决方案/变通办法吗?或者我做错了什么?
我导入了gpt 4all,然后试图加载orca-mini-3b,但得到了以下Traceback。
>>> from gpt4all import GPT4All
>>> model = GPT4All("orca-mini-3b-gguf2-q4_0.gguf")
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.98G/1.98G [02:34<00:00, 12.8MiB/s]
LLModel ERROR: CPU does not support AVX
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/usr/local/lib/python3.11/site-packages/gpt4all/gpt4all.py", line 101, in __init__
self.model.load_model(self.config["path"])
File "/usr/local/lib/python3.11/site-packages/gpt4all/pyllmodel.py", line 260, in load_model
raise ValueError(f"Unable to instantiate model: code={err.code}, {err.message.decode()}")
ValueError: Unable to instantiate model: code=45, Model format not supported (no matching implementation found)
字符串
1条答案
按热度按时间enxuqcxy1#
降级到
gpt4all==0.3.0
为我解决了这个问题,请参考这里更多信息[https://github.com/nomic-ai/gpt4all/issues/866]