根据您的描述,您在使用convert.py
将deepseek-ai/deepseek-coder-1.3b-instruct模型转换为gguf模型时遇到了问题。以下是一些建议,希望能帮助您解决问题:
确保您已经正确安装了所有必要的依赖库,如
torch
,transformers
,huggingface
等。检查您的模型文件是否完整且未损坏。如果可能的话,尝试使用其他工具(如Hugging Face Model Hub)重新下载模型文件。
在运行
convert.py
时,确保您提供了正确的输入和输出路径。例如:
python convert.py --input_model deepseek-ai/deepseek-coder-1.3b-instruct --output_model gguf_model --vocab_type bert --tokenizer_name bert-base-uncased --model_name_or_path transformers/deepseek-ai/deepseek-coder-1.3b-instruct
- 如果仍然无法解决问题,您可以尝试在GitHub上查找相关的issue或者提交一个新的issue以获取更多帮助。同时,您可以在Stack Overflow上提问,提供更多关于您的环境和问题的详细信息。
1条答案
按热度按时间5tmbdcev1#
当我为
deepseek-coder:33b-instruct
模型使用时,我必须使用--pad-vocab
和--vocab-type = bpe
,但看到你说你已经尝试过这些,所以不确定有什么建议。可能尝试将
temperature
调低到0.0,将repeat-penalty
调高到1.0,因为它似乎不喜欢这些默认值。