llama.cpp 如何保存已加载的模型?

mbzjlibv  于 5个月前  发布在  其他
关注(0)|答案(4)|浏览(49)

使用llama.cpp库,我做了:
struct llama_model* model = llama_load_model_from_file(input_model_path, params);
如何将其保存回磁盘的gguf格式?
我之所以询问,是因为我编写了一个修改模型权重的程序。所以我加载一个GGUF,然后修改模型权重,然后我需要将其保存回去。

ars1skjm

ars1skjm1#

如何将其以gguf格式保存回磁盘?
目前尚未实现

jutyujz0

jutyujz02#

@ggerganov,这将非常有用。

huwehgph

huwehgph3#

llama_model 接口不允许修改Tensor。它是已加载模型的只读表示。
如果您想修改Tensor,可以使用ggml提供的 gguf_* 函数,或者使用 gguf-py 在Python中修改它们(注意:Python不支持读取Q类型的量化)
您可以阅读 examples/gguf 以了解其工作原理。

dojqjjoe

dojqjjoe4#

llama_model 接口不允许修改Tensor。这是加载模型的只读表示。
如果您想修改Tensor,可以使用ggml提供的 gguf_* 函数,或者使用 gguf-py 在python中修改它们(注意:python不支持读取Q类型的量化)
您可以阅读 examples/gguf 以了解其工作原理。
算了吧。我修改了量化程序,现在我可以在任何量化水平上修改任何模型的Tensor。
可惜的是,llama.cpp不支持这个功能。

相关问题