llama.cpp 当共享内存和专用内存都可用时,Llama仅使用专用内存,

jv4diomz  于 2个月前  发布在  其他
关注(0)|答案(6)|浏览(131)

嗨,伙计们,Razer Blade 18 4090具有专用和共享内存,但似乎大多数应用程序(如Llama)仅设计为访问专用内存。是否有办法同时利用两者以提高性能视频内存管道?

在4090上链接的reddit线程讨论了专用和共享内存:

https://www.reddit.com/r/nvidia/comments/1c73zaf/my_4090_blade18_has_both_dedicated_and_shared/

mznpcxlj

mznpcxlj1#

I have the same question. Why does it never use the GPU-shared memory?

$x_1c^0d^1x$

zed5wv10

zed5wv104#

因为共享GPU内存并不是真正连接到GPU芯片的内存。

rjzwgtxy

rjzwgtxy5#

因为共享GPU内存并不是真正连接到GPU芯片的内存,这是正确的。但是使用GPU共享内存会提高性能,因为GPU不需要请求CPU访问内存中的数据。

相关问题