ollama 无法使用llama.cpp中的convert.py将safetensor微调模型deepseek部署到gguf,

nfzehxib  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(88)

根据您的描述,您在使用convert.py将deepseek-ai/deepseek-coder-1.3b-instruct模型转换为gguf模型时遇到了问题。以下是一些建议,希望能帮助您解决问题:

  1. 确保您已经正确安装了所有必要的依赖库,如torch, transformers, huggingface等。

  2. 检查您的模型文件是否完整且未损坏。如果可能的话,尝试使用其他工具(如Hugging Face Model Hub)重新下载模型文件。

  3. 在运行convert.py时,确保您提供了正确的输入和输出路径。例如:

python convert.py --input_model deepseek-ai/deepseek-coder-1.3b-instruct --output_model gguf_model --vocab_type bert --tokenizer_name bert-base-uncased --model_name_or_path transformers/deepseek-ai/deepseek-coder-1.3b-instruct
  1. 如果仍然无法解决问题,您可以尝试在GitHub上查找相关的issue或者提交一个新的issue以获取更多帮助。同时,您可以在Stack Overflow上提问,提供更多关于您的环境和问题的详细信息。
5tmbdcev

5tmbdcev1#

当我为deepseek-coder:33b-instruct模型使用时,我必须使用--pad-vocab--vocab-type = bpe,但看到你说你已经尝试过这些,所以不确定有什么建议。
可能尝试将temperature调低到0.0,将repeat-penalty调高到1.0,因为它似乎不喜欢这些默认值。

相关问题