Windows OS - Recommand using QAnything in Win11 instead of Win10

hgtggwj0  于 2个月前  发布在  Windows
关注(0)|答案(5)|浏览(71)

解:FasterTransformer可以在Win10中被阻止,而TensorRT-LLM可能会在Win10中崩溃。但是在Win11中一切都会好起来的。

bttbmeg0

bttbmeg01#

在win10中有什么方法可以修复它吗?

gcxthw6b

gcxthw6b2#

你好,你可以尝试安装一个双系统,如Windows和Linux(如Ubuntu),或者使用虚拟化软件(如VMware)来安装Ubuntu系统。
此外,我们计划开发一个新版本,使用另一个后端进行llm推理。

at0kjp5o

at0kjp5o3#

当前版本的qanything还不支持win10,对吗?

lx0bsm1f

lx0bsm1f5#

对于Win10,您可以按照以下步骤玩QAnything。

1.1 Run Qwen-7B-QAnything (Recommended for GPU VRAM > 16GB, otherwise you can try 3B/1.8B LLM)

## Step 1. Download the public LLM model (e.g., Qwen-7B-QAnything) and save to "/path/to/QAnything/assets/custom_models"
cd /path/to/QAnything/assets/custom_models
git clone https://huggingface.co/netease-youdao/Qwen-7B-QAnything

## Step 2. Execute the service startup command.  Here we use "-b hf" to specify the Huggingface transformers backend.
## Here we use "-b hf" to specify the transformers backend that will load model in 8 bits but do bf16 inference as default for saving VRAM.
cd /path/to/QAnything
bash ./run.sh -c local -i 0 -b hf -m Qwen-7B-QAnything -t qwen-7b-qanything

如需了解更多信息,请参考 https://github.com/netease-youdao/QAnything/blob/master/docs/QAnything_Startup_Usage_README.md

相关问题