vllm [Bug]:在负载下放置多LoRa适配器时出现异步引擎故障

cbwuti44  于 3个月前  发布在  其他
关注(0)|答案(2)|浏览(34)

我的当前环境:

0.4.2

我的bug:
我部署了hermes-2-pro-mistral-7b模型,并使用了多LoRa适配器。在对其施加大量多适配器负载后,我开始收到一个错误,指出找不到存储的适配器的位置。有什么想法吗?
重要提示 - 此错误发生的间隔不一致。这意味着有时在30RPS(每秒请求数)的负载下持续30分钟,而有时在3RPS的负载下持续10秒。

h43kikqp

h43kikqp1#

你可能应该首先解决这个问题:

with open(lora_config_path) as f:
FileNotFoundError: [Errno 2] No such file or directory: '/data/adapters/2024-03-28-00-04-12--lgy/adapter_config.json'
utugiqy6

utugiqy62#

也许你应该先解决这个问题:

with open(lora_config_path) as f:
FileNotFoundError: [Errno 2] No such file or directory: '/data/adapters/2024-03-28-00-04-12--lgy/adapter_config.json'

奇怪的部分是:

  1. 在压力测试之前,相同的部署没有问题找到文件。
  2. 问题开始后,我手动登录,文件确实在那里。
    我认为我在这方面缺乏理解,但在多LoRa支持中,我看到了多层缓存的提及。这可能是一个错误,它将适配器从缓存中驱逐出去,然后在检查下一个缓存级别之前抛出错误吗?

相关问题