llama.cpp 功能请求:架构 "LlavaMistralForCausalLM" 不支持!

slsn1g29  于 5个月前  发布在  其他
关注(0)|答案(1)|浏览(47)

前提条件

  • 我正在运行最新的代码。如果可能的话,请提及版本。
  • 我仔细遵循了 README.md
  • 我使用与我的问题相关的关键词进行搜索,以确保我创建的新问题(或已关闭的问题)不是已经存在的。
  • 我审阅了 Discussions ,并有一个新且有用的改进要分享。

功能描述

由于模型在 https://huggingface.co/microsoft/llava-med-v1.5-mistral-7b/tree/main 中分为四个部分,因此在合并模型的过程中出现了上述问题,如何解决这个问题?

动机

python .\convert-hf-to-gguf.py .\llava-med-v1.5-mistral-7b\ --outfile .\llava-med\ Loading model: llava-med-v1.5-mistral-7b Traceback (most recent call last): File "E:\gyf\offline-model\AR-agent\llama.cpp\convert-hf-to-gguf.py", line 1876, in main() File "E:\gyf\offline-model\AR-agent\llama.cpp\convert-hf-to-gguf.py", line 1857, in main model_instance = model_class(dir_model, ftype_map[args.outtype], fname_out, args.bigendian) File "E:\gyf\offline-model\AR-agent\llama.cpp\convert-hf-to-gguf.py", line 50, in init self.model_arch = self._get_model_architecture() File "E:gyf\offline-modelAR-agent\llama.cpp\convert-hf-to-gguf.py", line 281, in _get_model_architecture raise NotImplementedError(f'Architecture "{arch}" not supported!') NotImplementedError: Architecture "LlavaMistralForCausalLM" not supported!

相关问题