当我尝试使用GPT2TokenizerFast加载自定义合并的GPT2分词器时遇到了一个问题。尽管确保了tokenizer.json文件格式正确,但我收到了以下错误:
数据与未标记的枚举ModelWrapper的任何变体都不匹配,位于第1行第3193814列
tokenizer-2.json
当我尝试使用GPT2TokenizerFast加载自定义合并的GPT2分词器时遇到了一个问题。尽管确保了tokenizer.json文件格式正确,但我收到了以下错误:
数据与未标记的枚举ModelWrapper的任何变体都不匹配,位于第1行第3193814列
tokenizer-2.json
3条答案
按热度按时间pprl5pva1#
这个问题已经过期,因为它已经打开了30天,没有活动。请移除过期标签或评论,否则将在5天内关闭。
2wnc66cl2#
嘿!现在看一看!
ilmyapht3#
好的,一件事是你的分词器似乎有两个预分词器,没有被包裹在一个序列中,这非常奇怪😅 你是如何合并的?