发生了什么?
我按照LangChain文档在本地安装LLAMA,但遇到了以下错误:
Langchain-doc-link
请注意,我使用的是一台配备Intel i7 iRISXe处理器和32GB RAM的华硕笔记本电脑。
名称和版本
版本:3408 ( 1bdd8ae )
使用cc(Ubuntu 11.4.0-1ubuntu1~22.04) 11.4.0构建,适用于x86_64-linux-gnu
您在哪个操作系统上看到问题?
Linux
相关日志输出
python3 convert.py --outfile models/7B/gguf-llama2-f16.bin --outtype f16 ../../llama2/llama/llama-2-7b --vocab-dir ../../llama2/llama/llama-2-7b
python3: can't open file '/home/myname/Documents/Perso/side-project/ai/models/llama2/llama.cpp/convert.py': [Errno 2] No such file or directory
2条答案
按热度按时间wsewodh21#
另一个改名的突破
ercv8c1e2#
convert.py
脚本已被弃用,不再推荐使用。尽管它仍然可以在examples/convert_legacy_llama.py
上找到,但只支持Llama 2之前的模型。对于最新的、推荐的量化过程,请参考文档:https://github.com/ggerganov/llama.cpp/blob/master/examples/quantize/README.md
此更新指南提供了关于Llama模型的最新量化方法和工具的信息,包括对Llama 3、Gemma 2等较新版本的支持。