我正在使用一个古老的英语语料库,但无法找到如何让BERT不将"+"视为一个单词。例如,我有 Adrianus cw+a+d to Ritheus 。它将单词 cw+a+d 分成了5个标记,而不是一个 "cw","+","a","+","d"在sentencepiece上进行了检查,但没有找到任何内容。有人能请帮我吗?
hm2xizp91#
你好
1条答案
按热度按时间hm2xizp91#
你好