软件环境
- paddlepaddle: 2.5.2
- paddlepaddle-gpu: 2.5.2
- paddlenlp: 2.8.0重复问题
- 我已搜索现有的问题
错误描述
UNIMO模型的resize_token_embeddings方法不会修改decoder的vocab_size，导致input_embeddings_size和output_embeddings_size没法对齐稳定复现步骤 & 代码
tokenizer = UNIMOTokenizer.from_pretrained('./unimo-text-1.0-large')
model.resize_token_embeddings(len(tokenizer))
print(model.get_input_embeddings().weight.shape, model.lm_head.weight.shape)
1条答案
按热度按时间oknwwptz1#
GPT2模型也存在类似的问题，但已经被修复。参考link,我使用类似方法修改unimo/modeling.py后可以修复，后续会提一个PR。