moss-moon-003-sft Jupyter测试失败

eiee3dmh  于 2个月前  发布在  其他
关注(0)|答案(2)|浏览(53)

这个错误是由于MossTokenizer对象没有encoder属性导致的。要解决这个问题,你需要在moss-moon-003-sft-plugin/tokenization_moss.py文件中找到以下代码:

def get_vocab(self):
    return dict(self.encoder, **self.added_tokens_encoder)

然后将其更改为:

def get_vocab(self):
    return dict(self.encoder, **self.added_tokens_encoder) if self.added_tokens_encoder else self.get_vocab()

这样,当self.added_tokens_encoder不为空时,它将返回包含额外标记的词汇表;否则,它将调用父类的get_vocab()方法。这应该可以解决你遇到的问题。

1yjd4xko

1yjd4xko1#

你好,请问你解决了这个问题吗?

1u4esq0p

1u4esq0p2#

加个 revision="refs/pr/6" 就可以了

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("fnlp/moss-moon-003-sft", trust_remote_code=True, revision="refs/pr/6")
print(tokenizer.encode("good job"))

相关问题