我想在我的win 11机器上使用llama 2 7 B。我有一个conda venv，安装了cuda和pytorch，支持cuda和python 3.10。所以我准备好了。
这里的文件是从Meta本地下载的：文件夹llama-2- 7 b-chat与：
- checklist.chk
- consolidated.00.pth
- params.json
现在我想和模型互动。但我只找到从huggingface下载模型的代码片段，在我的情况下不需要。
有人能提供几行代码让我通过Python与模型交互吗？
我想在我的win 11机器上使用llama 2 7 B。我有一个conda venv，安装了cuda和pytorch，支持cuda和python 3.10。所以我准备好了。
这里的文件是从Meta本地下载的：文件夹llama-2- 7 b-chat与：
现在我想和模型互动。但我只找到从huggingface下载模型的代码片段，在我的情况下不需要。
有人能提供几行代码让我通过Python与模型交互吗？
1条答案
按热度按时间fcipmucu1#
下载的文件并不都是必需的。我让它在win11上使用cuda gpu工作，但用了一种稍微不同的方法：
1.首先，我使用了这个repo，而不是Meta本身提供的代码（但我必须通过huggingface下载文件）：https://github.com/oobabooga/text-generation-webui
1.通过conda安装cuda确实有一些错误，即使一开始一切看起来都很好。我可以通过像这里提供的那样安装堆栈来解决这个问题：https://github.com/jeffheaton/t81_558_deep_learning/blob/master/install/manual_setup2.ipynb的
我希望这也能帮助到其他人...