vLLM版本：0.5.3.post1(适用于ROCm)模型：meta-llama/Meta-Llama-3.1-405B-Instruct-FP8AMD MI300x GPU
在AMD MI300x GPU上加载meta-llama/Meta-Llama-3.1-405B-Instruct-FP8时，vLLM抛出值错误。值错误：目前不支持在ROCm中使用fbgemm_fp8量化。请参阅屏幕截图以获取参考。
3hvapo4f1#
你好，@jerin-scalers-ai,感谢你报告这个问题。目前，FP8不支持AMD GPU。vLLM和AMD团队正在努力解决这个问题。请保持关注。
1条答案
按热度按时间3hvapo4f1#
你好，@jerin-scalers-ai,感谢你报告这个问题。目前，FP8不支持AMD GPU。vLLM和AMD团队正在努力解决这个问题。请保持关注。