python-3.x LLModel错误当试图从GPT4All的MacBook Pro与M1芯片上加载量化LLM模型?

vfwfrxfs  于 2023-11-20  发布在  Python
关注(0)|答案(1)|浏览(168)

我根据以下说明在MacBook Pro(M1芯片)上安装了gpt 4all python绑定:https://github.com/nomic-ai/gpt4all/tree/main/gpt4all-bindings/python
然而,在尝试一些模型时,我遇到了一个LLModel错误,我认为这与我的MacBook的M1芯片有关.但应该有一个解决方案/变通办法吗?或者我做错了什么?
我导入了gpt 4all,然后试图加载orca-mini-3b,但得到了以下Traceback。

>>> from gpt4all import GPT4All
>>> model = GPT4All("orca-mini-3b-gguf2-q4_0.gguf")
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.98G/1.98G [02:34<00:00, 12.8MiB/s]
LLModel ERROR: CPU does not support AVX
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/local/lib/python3.11/site-packages/gpt4all/gpt4all.py", line 101, in __init__
    self.model.load_model(self.config["path"])
  File "/usr/local/lib/python3.11/site-packages/gpt4all/pyllmodel.py", line 260, in load_model
    raise ValueError(f"Unable to instantiate model: code={err.code}, {err.message.decode()}")
ValueError: Unable to instantiate model: code=45, Model format not supported (no matching implementation found)

字符串

enxuqcxy

enxuqcxy1#

降级到gpt4all==0.3.0为我解决了这个问题,请参考这里更多信息[https://github.com/nomic-ai/gpt4all/issues/866]

相关问题