请提出你的问题
1、问题描述
由于PaddleNLP仓库中未提供gpt3-13B的预训练权重，因此从https://huggingface.co/TurkuNLP/gpt3-finnish-13B上下载类似权重，下载的权重是pytorch格式，如何将pytorch模型转换成paddle模型？
2、本地尝试
通过在from_pretrained函数中设置from_hf_hub=True,PaddleNLP代码进行转换，看起来代码中已经开发了一部分转换，但是完整实现未开发。报错如下：
相关代码如下：3、总结：
(1)PaddleNLP中的pytorch模型转换为paddle模型是否未完全开发。
(2)如何将从huggingface下载的pytorch bin模型转换成paddle模型。
2条答案
按热度按时间xesrikrc1#
\n\n您好，当使用llm/gpt-3时，模型创建使用的是llm/gpt-3/modeling.py文件。然而，这个文件中创建的GPT模型并没有实现您提到的方法。目前我们正在修改modeling文件，并参考了#6705(评论)。\n\n为了提供一种临时的解决方案，我们从paddlenlp/transformers/gpt/modeling.py中抽取了相应的函数，并将其添加到了llm/gpt-3/modeling.py文件中。
9udxz4iz2#
当前，GPT-3已经实现了统一的方法，可以进行模型转换。备注：需要克隆最新开发版本。