PPO和其他LLM微调技术需要在训练过程中使用自回归生成作为部分。当使用vLLM加速训练循环的自回归生成部分时，是否有一种有效的方式来更新LLM的权重？具体来说，在LoRA微调的情况下，是否有一种方法可以高效地交换适配器，而不必将其保存到文件系统？

高效的LoRA适配器更新

可能的解决方法无需进行任何代码更改：将适配器保存到内存文件系统中(例如，/dev/shm),并在每个LoRARequest中指向该目录。这个解决方法的优点是：

• 避免了磁盘读/写瓶颈和SSD磨损。
• 仍然会产生safetensors序列化和反序列化的开销。

建议的更改：修改LoRARequest以允许将适配器指定为Tensor的字典。

• 修改LoRARequest类定义
• 将lora_local_path: str标记为可选
• 添加新的可选lora_tensors: dict[str, torch.Tensor]属性。
• 修改WorkerLoRAManager _load_lora实现(vllm/lora/worker_manager.py)
• 验证给定的LoRARequest指定了lora_local_path和lora_tensors中的一个。
• (可选)将检查unexpected_modules的逻辑移动到单独的方法中。
• 如果在LoRARequest中提供了lora_tensors:
• 在给定的Tensor字典中检查unexpected_modules。
• 用from_lora_tensors替换from_local_checkpoint。

替代方法：非LoRA参数更新

• OpenRLHF通过覆盖hf_model_weights_iterator并为字典中的每个Tensor调用load_weights来用内存Tensor替换vLLM模型参数。(来源，补丁)

其他上下文

LLM微调目标(如PPO)在训练过程中需要自回归文本生成，要求使用相对较新的模型进行生成。
截至v0.4.0 vLLM发布版本，当示例化一个vLLM LoRARequest时，通过lora_local_path: str属性指定LoRA适配器。(来源)在上面的LoRA PPO示例中，如果vLLM示例与peft训练循环在同一台机器上，将适配器权重的新副本发送给vLLM需要以下步骤：

• 调用peft.PeftModel.save_pretrained将适配器Tensor状态字典(作为folder_name/adapter_model.safetensors)保存到磁盘上的本地路径。在此幕后，此方法将执行以下操作：
• 调用peft.utils.get_peft_model_state_dict获取Tensor字典，然后
• 调用safetensors.torch.save_file将loraTensor字典序列化到文件系统。(序列化开销)
• 示例化一个新的vLLM LoRARequest并将lora_local_path属性设置为更新后的值。
• 将此LoRARequest发送给vLLM引擎。在此幕后，vLLM将执行以下操作：
• 调用LoRAModel.from_local_checkpoint(来源)
• 验证peft配置中列出的所有target_modules是否受支持。
• 从文件系统将loraTensor字典加载到CPU内存中。(反序列化开销)
• 如果提供了其他嵌入Tensor，则将它们加载到CPU内存中。
• 调用LoRAModel.from_lora_tensors(来源)以示例化LoRAModel。

如果采用的替代方案被采纳，新的工作流程如下：

• 在LoRA模型上调用peft.utils.get_peft_model_state_dict以获取loraTensor字典(与上述解决方法中写入磁盘的操作相同)。
• 示例化一个新的vLLM LoRARequest并包含指向该loraTensor字典的指针。
• 将此LoRARequest发送给vLLM引擎。在此幕后，vLLM将执行以下操作：
• 调用LoRAModel.from_lora_tensors(来源)以示例化更新后的LoRAModel。