llama.cpp Add lightweight tests for LoRA

qyzbxkaa  于 1个月前  发布在  其他
关注(0)|答案(1)|浏览(49)

参考:#8687 (评论)
(cc @ggerganov)
待办事项:

  • 根据 stories15M 和 stories15M_MOE 训练一些适配器
  • 使用 llama-cli -m base_model.gguf --lora lora_adapter.gguf 进行测试
  • 使用 llama-export-lora 进行合并测试,然后重新运行 merged.gguf 以验证它输出的内容与上述相同

可选:制作一些具有不同架构的小故事模型,例如 gemma、phi 等。

qco9c6ql

qco9c6ql1#

我需要时间来训练一些适配器进行测试(也许我会将其扩展到测试其他架构,而不仅仅是llama),因此我创建了这个待办事项以跟踪。

相关问题