vllm 支持AMD消费级GPU

mum43rcc  于 2个月前  发布在  其他
关注(0)|答案(4)|浏览(101)

是否存在技术原因,为什么仅支持AMD MI200 GPU或更新的GPU?当我尝试在RX 7900 XTX上运行vllm时,我遇到了错误RuntimeError: FlashAttention only supports AMD MI200 GPUs or newer.

2nbm6dog

2nbm6dog1#

ROCm的哪个版本?

cpjpxq1n

cpjpxq1n2#

我也遇到了同样的问题,我的软件版本是ROCm6.0,显卡是7900XT。

wf82jlnq

wf82jlnq3#

我也遇到了同样的问题,我的软件版本是ROCm6.0,显卡是7900XT。

wf82jlnq

wf82jlnq4#

对于7900系列,gfx1100,目前建议在vllm中使用朴素注意力。

相关问题