我使用多LoRA进行离线推理:
sql_lora_path = "/home/zyn/models/slot_lora_gd"
from vllm import LLM, SamplingParams
from vllm.lora.request import LoRARequest
llm = LLM(model="/home/models/dem_14b/base",
enable_lora=True,
trust_remote_code=True)
sampling_params = SamplingParams(temperature=0,
max_tokens=256,
stop=["[/assistant]"])
prompts = [
"[user] 请编写一个基于表结构回答问题的SQL查询。\n\n上下文:创建表格table_name_74 (icao VARCHAR, airport VARCHAR)\n\n问题:利隆圭国际机场的ICAO是什么?[/user] [assistant]",
"[user] 请编写一个基于表结构回答问题的SQL查询。\n\n上下文:创建表格table_name_11 (nationality VARCHAR, elector VARCHAR)\n\n问题:Anchero Pantaleone何时成为选民,其国籍是什么?[/user] [assistant]",
]
outputs = llm.generate(prompts,
sampling_params,
lora_request=LoRARequest("sql_adapter", 1,
sql_lora_path))
5条答案
按热度按时间dphi5xsq1#
错误信息显示,不支持。
vc9ivgsu2#
May I ask when this problem will be resolved and is there a plan
pdkcd3nj3#
嘿,我也遇到了和你一样的问题。请问什么时候可以集成qwen lora模型加载?如果你们能解决这个问题并告诉我,我会非常感激的。我现在很关心这个问题,谢谢。
pbossiut4#
我也遇到了同样的情况,当何时qwen支持lora模型?
mkshixfv5#
Pl enable support for this. @vllm team