描述

使用OpenAI模型需要连接到国际互联网和OpenAI api密钥，这可能对一些用户来说很困难。引入本地模型后端，如llama.cpp,它集成了大量的开源模型和硬件支持(如Apple M-芯片、CUDA、CPU等),可以是一个很好的解决方案。请参阅llama.cpp。