bert Tokens and values

mfuanj7w  于 4个月前  发布在  其他
关注(0)|答案(1)|浏览(57)

我正在使用一个古老的英语语料库,但无法找到如何让BERT不将"+"视为一个单词。
例如,我有 Adrianus cw+a+d to Ritheus 。
它将单词 cw+a+d 分成了5个标记,而不是一个 "cw","+","a","+","d"
在sentencepiece上进行了检查,但没有找到任何内容。有人能请帮我吗?

相关问题