<extra_id_0>和<extra_id_1>标记是T5标记器的extra_ids词汇表的一部分，用作标记标记，用于屏蔽模型需要预测的输入部分。这些标记从词汇表的末尾到开头进行索引。您可以指定标记器中使用的屏蔽标记的数量。

extra_ids (:obj:`int`, `optional`, defaults to 100):
        Add a number of extra ids added to the end of the vocabulary for use as sentinels. These tokens are
        accessible as "<extra_id_{%d}>" where "{%d}" is a number between 0 and extra_ids-1. Extra tokens are
        indexed from the end of the vocabulary up to beginning ("<extra_id_0>" is the last token in the vocabulary
        like in T5 preprocessing see `here
        <https://github.com/google-research/text-to-text-transfer-transformer/blob/9fd7b14a769417be33bc6c850f9598764913c833/t5/data/preprocessors.py#L2117>`__).

字符串
在输出中，和之间的文本<extra_id0><extra_id1>表示第一个掩码的输出，依此类推。重要的是要注意，T5可能不是掩码语言建模任务的最佳选择，如本文here中所讨论的。您也可以访问Stackoverflow上的this页面以了解类似的问题。