看起来在中文中，预训练语料库使用整个单词掩码尚不支持。即使在create_pretraining_data.py中传递--do_whole_word_mask=True,也没有发生任何事情。有人知道如何做到这一点吗？
j8yoct9x1#
根据我理解，您希望掩盖由多个字符组成的一些中文词汇。我认为您需要在将语料库输入BERT模型之前对其进行分词(然后将单词转换为ID)。这样可以解决这个问题。
6gpjuf902#
@brightmart 这个仓库可能会帮助你。
vjhs03f73#
因为它将使用 ## 来识别属于同一单词的 WordPiece 标记。您需要更改一些代码以适应中文文本。
##
3条答案
按热度按时间j8yoct9x1#
根据我理解，您希望掩盖由多个字符组成的一些中文词汇。我认为您需要在将语料库输入BERT模型之前对其进行分词(然后将单词转换为ID)。这样可以解决这个问题。
6gpjuf902#
@brightmart 这个仓库可能会帮助你。
vjhs03f73#
因为它将使用
##来识别属于同一单词的 WordPiece 标记。您需要更改一些代码以适应中文文本。