模型是Deepseek Coder v2 16b,q: 5_K_M。我向模型提供了一个代码块，它开始产生乱码。而对于其他任何模型，它都运行正常。
日志文件：
Linux
Nvidia
AMD
0.1.47
ijnw1ujt1#
似乎在NVIDIA GeForce RTX 4070上运行良好，或者至少产生合理的输出。在这种情况下，24层被卸载到GPU上。如果我将层数设置为0(/set parameter num_gpu 0),使其全部运行在CPU上，它也运行良好。但是如果我将num_gpu设置为7,如你的日志所示，我得到的是乱码输出。因此，运行在GPU上的层数是一个影响因素。
/set parameter num_gpu 0
num_gpu
hxzsmxv22#
是的，对于0来说没问题，但对于7来说很糟糕，6也是如此。如果完全在CPU上运行，性能会很差。所以，希望有人能更新它或者找到一个解决方法。
smtd7mpg3#
仅更新：我正在使用mannix版本的deepseek coder v2,它运行得非常完美，没有崩溃，没有乱码，也没有中文。所以请检查一下官方版本的情况。
3条答案
按热度按时间ijnw1ujt1#
似乎在NVIDIA GeForce RTX 4070上运行良好，或者至少产生合理的输出。在这种情况下，24层被卸载到GPU上。如果我将层数设置为0(
/set parameter num_gpu 0),使其全部运行在CPU上，它也运行良好。但是如果我将num_gpu设置为7,如你的日志所示，我得到的是乱码输出。因此，运行在GPU上的层数是一个影响因素。hxzsmxv22#
是的，对于0来说没问题，但对于7来说很糟糕，6也是如此。如果完全在CPU上运行，性能会很差。所以，希望有人能更新它或者找到一个解决方法。
smtd7mpg3#
仅更新：我正在使用mannix版本的deepseek coder v2,它运行得非常完美，没有崩溃，没有乱码，也没有中文。所以请检查一下官方版本的情况。