当我使用多个lora时，我可以启用前缀缓存来提高性能吗？
qnzebej01#
是的
fafcakar2#
是的谢谢！
fdbelqdn3#
是的你好，不确定这是否相关。#5475我最近在使用前缀缓存进行多LoRa设置时遇到了一个问题。从我的分析来看，切换LoRa头可能会导致一些性能下降，不确定这是由于我的设置还是vllm中的一些错误。
3条答案
按热度按时间qnzebej01#
是的
fafcakar2#
是的
谢谢！
fdbelqdn3#
是的
你好，不确定这是否相关。
#5475
我最近在使用前缀缓存进行多LoRa设置时遇到了一个问题。从我的分析来看，切换LoRa头可能会导致一些性能下降，不确定这是由于我的设置还是vllm中的一些错误。