我使用多LoRA进行离线推理：
sql_lora_path = "/home/zyn/models/slot_lora_gd"
from vllm import LLM, SamplingParams
from vllm.lora.request import LoRARequest
llm = LLM(model="/home/models/dem_14b/base",
enable_lora=True,
trust_remote_code=True)
sampling_params = SamplingParams(temperature=0,
max_tokens=256,
stop=["[/assistant]"])
prompts = [
"[user] 请编写一个基于表结构回答问题的SQL查询。\n\n上下文：创建表格table_name_74 (icao VARCHAR, airport VARCHAR)\n\n问题：利隆圭国际机场的ICAO是什么？[/user] [assistant]",
"[user] 请编写一个基于表结构回答问题的SQL查询。\n\n上下文：创建表格table_name_11 (nationality VARCHAR, elector VARCHAR)\n\n问题：Anchero Pantaleone何时成为选民，其国籍是什么？[/user] [assistant]",
]
outputs = llm.generate(prompts,
sampling_params,
lora_request=LoRARequest("sql_adapter", 1,
sql_lora_path))